如何从 .npy 文件中仅加载几行？

Question

我有一个 11GB 的 X.npy 文件，我无法完全加载到内存中。

X.npy 的形状是(18873, 224, 224, 3)

现在我只想从中加载几行（比如 1024）(:1024, 224, 224, 3)。如果不在我的内存中加载 X.npy，我怎么能做到这一点？

我在np.load 中没有找到参数来实现这一点。有没有别的办法？

我想这可以使用np.memmap 来完成，但我坚持使用偏移参数。它的行为很奇怪。 X.npy 的 dtype 为“float32”。

Answer 1

使用来自 np.load 的 mmap_mode 参数：

X = np.load('X.npy', mmap_mode='r')

这样，ndarray 将完全充当内存中的数组，但不会将其加载到 RAM 中。