转到特定行并在 Python 中阅读接下来的几行

Question

我有这个巨大的 (61GB) FASTQ 文件，我想在其中创建一个随机子集，但我无法将其加载到内存中。 FASTQ 的问题是每四行都属于一起，否则我只会创建一个随机整数列表，并且只将这些整数处的行写入我的子集文件。

到目前为止，我有这个：

import random
num = []    
while len(num) < 50000000:
    ran = random.randint(0,27000000)
    if (ran%4 == 0) and (ran not in num):
        num.append(ran)
num = sorted(num)

fastq = open("all.fastq", "r", 4)
subset = open("sub.fastq", "w")
for i,line in enumerate(fastq):
    for ran in num:
        if ran == i:
            subset.append(line)

在转到下一个随机整数之前，我不知道如何到达文件中的下三行。有人可以帮我吗？

Answer 1

1. Iterate over the file in chunks of four lines.
2. Take a random sample from that iterator.

这个想法是，您可以通过迭代并依次选择（或不选择）每个元素来从生成器中采样而无需随机访问。

Answer 2

你可以试试这个：

import random
num = sorted([random.randint(0,27000000/4)*4 for i in range(50000000/4)])

lines_to_write = 0
with open("all.fastq", "r") as fastq:
    with open("sub.fastq", "w") as subset:
        for i,line in enumerate(fastq):
            if len(num)==0:
                break
            if i == num[0]:
                num.pop(0)
                lines_to_write = 4
            if lines_to_write>0:
                lines_to_write -= 1
                subset.write(line)