将 HDF5 文件中的大型数据集读入 x_train 并在 keras 模型中使用

Question

我有一个包含 16000 个不同的 512x512 numpy 数组的大型 HDF5 文件。显然将文件读入内存会导致崩溃（文件总大小为 40 GB）。

我想将此数组加载到数据中，然后将数据拆分为 train_x 和 test_x。 Tha标签存储在本地。

我这样做只是创建了一个文件路径而不获取

    h5 = h5py.File('/file.hdf5', 'r')
    data = h5.get('data')

但是当我尝试将数据拆分为训练和测试时：

x_train= data[0:14000]
y_train= label[0:16000]
x_test= data[14000:]
y_test= label[14000:16000]

我得到了错误

MemoryError: 无法为形状为 (14000, 256, 256) 且数据类型为 float32 的数组分配 13.42 GiB

我想批量加载它们并训练一个 keras 模型，但显然以前的错误不允许我这样做

model.compile(optimizer=Adam(learning_rate =0.001),loss 
                          ='sparse_categorical_crossentropy',metrics =['accuracy'])
history= model.fit(x_train,y_train,validation_data= 
                         (x_test,y_test),epochs =32,verbose=1)

我该如何解决这个问题？

Answer 1

首先，让我们描述一下你在做什么。
此语句为名为“data”的数据集返回一个 h5py 对象：data = h5.get('data')。它不会将整个数据集加载到内存中（这很好）。注意：该语句更典型地写成这样：data = h5.['data']。另外，我假设有一个类似的调用来获取“标签”数据集的 h5py 对象。

接下来的 4 个语句中的每一个都将根据索引和数据集返回一个 NumPy 数组。 NumPy 数组存储在内存中，这就是出现内存错误的原因。当程序执行x_train= data[0:14000] 时，需要 13.42 GiB 才能将数组加载到内存中。 （注意：错误意味着数组是 256x256，而不是 512x512。）

如果您没有足够的 RAM 来存储数组，您将不得不“做一些事情”来减少内存占用。要考虑的选项：

1. 将图像从 256x256（或 512x512）调整为更小的尺寸并保存在新的 h5 文件中
2. 修改“数据”以使用整数而不是浮点数并保存在新的 h5 文件中
3. 将图片数据写入.npy文件并批量加载
4. 读取更少的图像，批量训练。

我写了一个与一些相关的问题的答案，该问题描述了 h5py 行为与训练和测试数据，以及如何随机化来自 .npy 文件的输入。这可能会有所帮助。看到这个答案：h5py writing: How to efficiently write millions of .npy arrays to a .hdf5 file?

顺便说一句，您可能希望随机选择测试和训练数据（而不是简单地选择前 14000 张图像进行训练，然后选择最后 2000 张图像进行测试）。另外，请检查您的索引是否有 y_train= label[0:16000]。我认为您会收到与 x_train 和 y_train 大小不匹配的错误。