NVIDIA DIGITS 中的 HDF5 输入数据集使用情况

Question

我是使用 NVIDIA DIGITS 的新手。我的火车数据集具有以下结构，其格式为 .hdf5 。

crops       Dataset {27482, 3, 128, 192}
labels      Dataset {27482, 12}
mean        Dataset {3, 128, 192}
pids        Dataset {27482}

我知道如何使用 .txt 或 .jpg 等更简单的格式来输入模型。我的问题是如何以 NVIDIA DIGITS

为我的模型提供 .hdf5 格式

Answer 1

HDF5 数据集仅用于 DIGITS 中的图像分类数据集，即使这样支持也不是很全。

为什么？

Caffe 对 HDF5 的支持不如对 LMDB 的支持：

• 对于大型数据集，您必须将它们分成单独的文件 (see here)
• 数据未预取 - 整个数据集一次读入内存 (see here)
• HDF5Data 层不支持数据转换 (see here)

由于 DIGITS 目前主要基于 Caffe，因此我们的主要数据集格式是 LMDB。如果/当我们支持更多后端框架时，我们可能会决定采用更通用的格式，如 HDF5 或 zipfile。