【发布时间】：2020-06-26 06:31:59
【问题描述】：
我正在尝试运行代码的 PyTorch implementation，它应该可以在 SBD dataset 上运行。
训练标签最初在 .bin 文件中可用，然后转换为 HDF5 (.h5) 文件。
在运行算法时，我收到错误消息：“TypeError: h5py objects cannot be pickle”
我认为错误源于 torch.utils.data.DataLoader。
知道我是否在这里遗漏了任何概念？我读到酸洗通常不是首选，但到目前为止，我的数据集仅采用 HDF5 格式。
供您参考，错误的堆栈跟踪如下：
File "G:\My Drive\Debvrat - shared\Codes\CASENet PyTorch Implementations\SBD-lijiaman\main.py", line 130, in <module>
main()
File "G:\My Drive\Debvrat - shared\Codes\CASENet PyTorch Implementations\SBD-lijiaman\main.py", line 85, in main
win_feats5, win_fusion, viz, global_step)
File "G:\My Drive\Debvrat - shared\Codes\CASENet PyTorch Implementations\SBD-lijiaman\train_val\model_play.py", line 31, in train
for i, (img, target) in enumerate(train_loader):
File "C:\Anaconda3\lib\site-packages\torch\utils\data\dataloader.py", line 819, in __iter__
return _DataLoaderIter(self)
File "C:\Anaconda3\lib\site-packages\torch\utils\data\dataloader.py", line 560, in __init__
w.start()
File "C:\Anaconda3\lib\multiprocessing\process.py", line 112, in start
self._popen = self._Popen(self)
File "C:\Anaconda3\lib\multiprocessing\context.py", line 223, in _Popen
return _default_context.get_context().Process._Popen(process_obj)
File "C:\Anaconda3\lib\multiprocessing\context.py", line 322, in _Popen
return Popen(process_obj)
File "C:\Anaconda3\lib\multiprocessing\popen_spawn_win32.py", line 89, in __init__
reduction.dump(process_obj, to_child)
File "C:\Anaconda3\lib\multiprocessing\reduction.py", line 60, in dump
ForkingPickler(file, protocol).dump(obj)
File "C:\Anaconda3\lib\site-packages\h5py\_hl\base.py", line 308, in __getnewargs__
raise TypeError("h5py objects cannot be pickled")
TypeError: h5py objects cannot be pickled
我正在使用 Conda 4.8.2、Python 3.7.4、PyTorch 1.0.0 和 Cuda 10.2.89
谢谢，
【问题讨论】：
-
h5py对象（组、数据集）只是对h5文件中数据的引用。看起来多处理代码正在尝试腌制这些，以便可以将它们（作为字符串）传递给子进程。您必须首先将h5py数据集加载到numpy数组中。然后可以腌制和共享这些内容。