Python：巨大列表生成器的替代方案

Question

对于我正在编写的包，我需要随机顺序的 0 到 2**33 之间的唯一数字。最初，我尝试使用如下生成器：

def randomnumber(NUM):
    List = [i for i in range(NUM)]
    List.shuffle()
    index = 0
    while index < NUM:
          index += 1
          yield List[index-1]

但在我的例子中 NUM 是 2**33，这个代码是不可能的。我尝试将所有数字从 bash 写入文本文件，发现文件大小为 93.6 GB（这真的很大，远远超过我的 RAM）。然后我使用terashuf 改组文件的内容，并使用linecache 读取文件的每一行。

另外，我正在使用多处理模块（尤其是apply_async）并且确实需要将此生成器对象作为参数传递。但是 python 给出了一个错误，指出它不能在池进程中使用生成器对象。我经历了几个关于 SO 的问题，其中一个答案是从生成器中为少数数字创建这些数字的列表，并将它们作为参数传递给并行运行的函数，但这也不起作用。

所以我的问题是有什么方法可以让我们创建一个生成器来完成预期的工作（给出 0 到 2**33 之间的随机唯一数字）或其他一些我不想要的方法来做到这一点一次又一次地洗牌文件的内容（需要相当多的时间）

Answer 1

据我了解，您的代码的要点是在0 和NUM 之间生成一个随机整数。在你的情况下，NUM 将是 2**33。

以下代码可以做到这一点，您可以毫无问题地更改NUM：

import math
import random


def generate_random(num):
    yield random.randint(0, num) 

#setting seed to get consistent results
random.seed(0)

# Now, let's use this simple function to generate
# 5 different random number between `0` and `2**33`:
NUM = math.pow(2, 33)
for i in range(10):
    print(next(generate_random(NUM)))

# This would print these five numbers
# 7921731533
# 1806341205
# 6490875490
# 6341935620
# 3900315155