为什么这个 numpy 数组太大而无法加载？

Question

我有一个 3.374Gb npz 文件，myfile.npz。

我可以读入并查看文件名：

a = np.load('myfile.npz')
a.files

给予

['arr_1','arr_0']

我可以在“arr_1”中阅读正常

a1=a['arr_1']

但是，我无法加载 arr_0，或读取其形状：

a1=a['arr_0']
a['arr_0'].shape

以上两种操作都报错：

ValueError: array is too big

我有 16Gb RAM，其中 8.370Gb 可用。所以问题似乎与内存无关。我的问题是：

1. 我应该能够读取这个文件吗？

2. 谁能解释这个错误？

3. 我一直在考虑使用 np.memmap 来解决这个问题 - 这是一种合理的方法吗？

4. 我应该使用什么调试方法？

编辑：

我可以访问具有更多 RAM (48GB) 的计算机并加载它。 dtype 实际上是 complex128，a['arr_0'] 的未压缩内存是 5750784000 字节。似乎可能需要 RAM 开销。那个或我预测的可用 RAM 量是错误的（我使用了 windows sysinternals RAMmap）。

Answer 1

尺寸为(200, 1440, 3, 13, 32) 的np.complex128 数组在未压缩时应该占用大约 5.35GiB，所以如果您确实有 8.3GB 的空闲、可寻址内存，那么原则上您应该能够加载该数组。

但是，根据您在以下 cmets 中的回复，您使用的是 32 位版本的 Python 和 numpy。在 Windows 中，a 32 bit process can only address up to 2GB of memory（如果二进制文件是使用IMAGE_FILE_LARGE_ADDRESS_AWARE 标志编译的，则为 4GB；大多数 32 位 Python 发行版不是）。因此，无论您拥有多少物理内存，您的 Python 进程都被限制为 2GB 的地址空间。

您可以安装 64 位版本的 Python、numpy 和您需要的任何其他 Python 库，或者忍受 2GB 的限制并尝试解决它。在后一种情况下，您可能主要在磁盘上存储超过 2GB 限制的数组（例如，使用 np.memmap），但我建议您选择选项 #1，因为在内存映射数组上的操作要慢得多大多数情况下，与完全驻留在 RAM 中的普通 np.arrays 相比。

---

如果您已经有另一台机器有足够的 RAM 来将整个数组加载到核心内存中，那么我建议您以不同的格式保存数组（可以是普通的 np.memmap 二进制文件，或者更好的是，在 HDF5 中）使用PyTables 或H5py 的文件）。也可以（虽然有点棘手）从.npz 文件中提取问题数组而不将其加载到 RAM 中，这样您就可以将其作为驻留在磁盘上的np.memmap 数组打开：

import numpy as np

# some random sparse (compressible) data
x = np.random.RandomState(0).binomial(1, 0.25, (1000, 1000))

# save it as a compressed .npz file
np.savez_compressed('x_compressed.npz', x=x)

# now load it as a numpy.lib.npyio.NpzFile object
obj = np.load('x_compressed.npz')

# contains a list of the stored arrays in the format '<name>.npy'
namelist = obj.zip.namelist()

# extract 'x.npy' into the current directory
obj.zip.extract(namelist[0])

# now we can open the array as a memmap
x_memmap = np.load(namelist[0], mmap_mode='r+')

# check that x and x_memmap are identical
assert np.all(x == x_memmap[:])