从 hDf5 文件中读取巨大的 numpy 数组（带有图像数据）的最快方法

Question

我有大量的图像，我使用 hdf5 文件格式将它们存储在磁盘上（存储了浮点数的 numpy 数组（22500,3,224,224））。 hdf5 文件的大小为 22 GB。

为此，我使用了 python 的 h5py 库。我使用以下代码创建文件。

h5f = h5py.File('data.h5', 'w')
h5f.create_dataset('data' , data=myNumpyArray)
h5f.close()

我有一个机器学习程序可以学习这些数据。所以我有一个在这些文件上运行的迭代器（我有大量数据，所以我制作了 8 个文件，每个文件 22GB）。迭代器加载每个文件并训练网络。然而，这种文件加载非常非常慢。加载文件大约需要 15 分钟。我正在使用下面的代码来加载文件。

h5f = h5py.File('data.h5', 'r')
myNumpyArray= h5f['data'][:]
h5f.close()

因此，要对数据运行 100 次迭代，我将花费 15*8*100（将其乘以 8，因为我有 8 个文件）= 12,000 分钟（仅用于文件读取），这是我负担不起的。

我第一次做这样的事情，不确定我做的是否正确。

有人可以帮助我如何减少文件读取时间吗？或者我写入数据的方式本身是错误的？ 任何帮助将不胜感激。

谢谢， 维杰塔。

Answer 1

使用 SSD — 现在您可以花 200 美元左右购买 500GB 外置硬盘，或者如果您在 AWS 上，租用 EBS SSD 每天只需花费大约 1.50 美元。

当我阅读 100 行块时，我需要 55 秒，而我只是在 8GB 的​​ Macbook Air 上；在更高功率的机器上应该更快。

m = np.random.random((20000,3,255,255))
h5f = h5py.File('data.h5', 'w')
h5f.create_dataset('data' , data=m)
h5f.close()
def access_data(d):
     for i in range(200):
         a = d[i*100:(i+1)*100]


h5f = h5py.File('data.h5', 'r')
%time access_data(h5f['data'])

CPU times: user 84.8 ms, sys: 35.4 s, total: 35.5 s
Wall time: 55.7 s