多个 HDF5 文件的 HDF5 数据层定义

【问题标题】：HDF5 data layer definition for multiple HDF5 files多个 HDF5 文件的 HDF5 数据层定义
【发布时间】：2023-03-24 11:53:02
【问题描述】：

我知道 Caffe 不会让您的 HDF5 数据层大于 2GB。
我有一个大数据集，我将我的大数据集分成 5 个我在'train.txt' 文件中列出了这五个文件。

如何在我的网络 prototxt 文件的"HDF5Data" 层中定义它？
仅将它们全部列为顶部会产生错误.

这有什么小例子吗？

谢谢！

干杯

【问题讨论】：

我有一个问题：您是如何将数据拆分为多个 HDF5 文件的？？

标签： machine-learning neural-network deep-learning caffe hdf5

【解决方案1】：

你应该有 text 文件'train.txt' 包含以下内容

/path/to/first.h5
/path/to/second.h5
/path/to/third.h5
/path/to/fourth.h5
/path/to/fifth.h5

然后，作为"HDF5Data" 层的source，您应该仅提供'train.txt'：

layer {
  type: "HDF5Data"
  name: "data"
  # put your "top" here, if you have several - then go ahead
  hdf5_data_param {
    source: "/path/to/train.txt"  # only the list file goes here.
  }
  include { phase: TRAIN }
}

如您所见，'/path/to/first.h5' 没有在train.prototxt 中明确列出，仅在train.txt 中列出。

【讨论】：