使用 Caffe 训练数据集时多次加载 HDF5 文件答案

【问题标题】：HDF5 file is loaded multiple times when training dataset using Caffe使用 Caffe 训练数据集时多次加载 HDF5 文件
【发布时间】：2018-02-08 03:12:46
【问题描述】：

我正在使用 hdf5 文件训练数据集，日志显示 hdf5 文件已加载 3 次。我想知道这是为什么？

我使用4 GPUs进行培训

0830 10:51:06.050088 24335 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.055855 24336 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.066175 24335 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259
I0830 10:51:06.071753 24336 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259
I0830 10:51:06.878861 24337 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.900501 24337 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259

【问题讨论】：

标签： deep-learning caffe hdf5

【解决方案1】：

据我所知，如果您使用多个 GPUs，则每个 GPU 会多次加载 hdf5 文件！这可能会导致问题，我不建议在使用 hdf5 文件进行训练时使用多个 GPUs

【讨论】：