保存和加载大型 numpy 矩阵

Question

以下代码是我如何保存 numpy 数组，保存后大约 27GB。图像数据超过200K，每个形状为(224,224,3)

hf = h5py.File('cropped data/features_train.h5', 'w')
for i,each in enumerate(features_train):
    hf.create_dataset(str(i), data=each)
hf.close()

这是我用来加载数据的方法，加载需要几个小时。

features_train = np.zeros(shape=(1,224,224,3))    
hf =  h5py.File('cropped data/features_train.h5', 'r') 
for key in hf.keys():
    x = hf.get(key)
    x = np.array(x)
    features_train = np.append(features_train,np.array([x]),axis=0) 
hf.close()

那么，对于这么大的数据量，有没有人有更好的解决方案？

Answer 1

你没有告诉我们你的服务器有多少物理内存， 但是 27 GiB 听起来“很多”。 考虑将您的运行分成几个较小的批次。

在 Java 领域有一个老锯子问“为什么它有二次运行时？”， 也就是说，“为什么这么慢？”

String s = ""
for (int i = 0; i < 1e6, i++) {
    s += "x";
}

答案是接近尾声， 在每次迭代中，我们正在阅读〜一百万个字符 然后写它们，然后附加一个字符。 成本为 O(1e12)。 标准解决方案是使用 StringBuilder 所以我们回来了 到预期的 O(1e6)。

在这里，我担心调用 np.append() 会将我们推入二次状态。

要验证，请将features_train 赋值替换为简单的评估 的np.array([x])，所以我们花一点时间计算然后立即丢弃 每次迭代的那个值。 如果猜想正确，运行时间会小很多。

要解决这个问题，请避免致电.append()。 相反，使用 np.zeros() 预分配 27 GiB （或np.empty()） 然后在循环中分配每个新读取的数组 到其预分配槽的偏移量。 线性运行时将允许任务更快地完成。