如何在 caffe 中使用 python 层读取 hdf5 并进行数据增强？

Question

我想从hdf5 文件中读取数据并进行数据扩充。

我可以在transform_param 中使用镜像和裁剪进行数据增强。

但是，我不能在 HDF5Data 层中包含 transformation_param - caffe 不支持这一点。

我认为编写一个 python 层来解决它可能是一个好方法。从 hdf5 文件中读取数据，同时进行数据扩充。

我已经阅读了一些相关的答案，例如“caffe data layer example step by step”和“What is a Python layer in caffe?”

我还是不知道应该把写好的文件"*.py"放在哪里？以及如何编写代码来做数据增强？

Answer 1

你的python层*.py应该在你的$PYTHONPATH中。

考虑$CAFFE_ROOT/examples/pycaffe/layers中的python层示例 ，用于自定义python损失和数据层。

特别考虑$CAFFE_ROOT/examples/pycaffe/layers/pascal_multilabel_datalayers.py

在下一批加载之前，您可以即时进行数据扩充。

然后在*.prototxt

layer {
  name: "data"
  type: "Python"
  top: "data"
  top: "label"
  python_param {
    module: "pascalcontext_layers"
    layer: "PASCALContextSegDataLayer"
    param_str: "{\'context_dir\': \'../../data/pascal-context\', \'seed\': 1337, \'split\': \'train\', \'voc_dir\': \'../../data/pascal\'}"
  }
}

module 是文件名，layer 是类名。