numpy布尔数组中的内存溢出

Question

我正在尝试创建一个大型布尔数组（用于素数筛）。我使用了第一个 Python 列表，但在 limit = 10^9 这创建了一个 MemoryError。

boolarray = [True] * limit

然后我了解了 Numpy 并读到它在空间组织方面更好，所以我尝试了

boolarray = np.full(limit, True, dtype = bool)

限制只是略微增加到10^10，这还不够，因为我需要10^12。我觉得这很令人惊讶，你只需要一点布尔值，不是吗？任何想法，如何克服这个问题？提前致谢。

Answer 1

让我们抛开 10^12 位可能不容易放入内存的事实。如果您更关心内存使用而不是性能，您可以将这些位打包到一个字节数组中。这是以读取/写入位时的额外计算为代价的（这就是 numpy 将布尔值存储为字节的原因）。

import numpy as np


def getbit(bitarray, index):
    i, j = index // 8, index % 8
    x = bitarray[i]
    return x & (1 << j) != 0


def setbit(bitarray, index, value):
    value = bool(value)
    i, j = index // 8, index % 8
    x = bitarray[i]
    bitarray[i] ^= (np.uint(-value) ^ x) & (1 << j)


n = 10**5 // 8
bitarray = np.zeros(n, dtype=np.uint8)  # initialize all bits to 0

print(getbit(bitarray, 19))  # False

setbit(bitarray, 19, True)
print(getbit(bitarray, 19))  # True

setbit(bitarray, 19, False)
print(getbit(bitarray, 19))  # False