有没有办法加快这个 Python 代码我正在阅读多 GB 的文本

Question

我有一个大型数据库作为文本文件（大约 1GB），我试图将信息行作为一行，以便能够对这些行进行一些数据分析。数据库格式如下

>Title 1 Line
Data 1 Line
Data 1 Line
Data 1 line 
>Title 2 Line
Data 2 Line
Data 2 Line
Data 2 Line ....

我希望我的输出是

>Title 1 Line
Data 1 Line
>Title 2 Line
Data 2 Line

这是我的代码：

#opening document using open 
Data = open("Dataset.txt", "r")

#defining file name for lines 

protein = Data.readlines()


#variable defining for rewrite

proteinfinal = ""

for line in protein:
    if ">" in line:
        proteinfinal += line
    else:
        proteinfinal += line.strip("/n")
#removing final and last to remove lines
#print(proteinfinal.strip())
#closing file 
Data.close()

# Make a new file
Data = open("Dataset.txt", "w")
#write to file 
Data.write(proteinfinal)
#close file
Data.close()

有没有办法让它更快地运行这已经运行了一段时间，并且代码在几分钟内就可以在数据集的较小子集（10,000）行上运行。

Answer 1

是的，不要使用readlines，直接遍历文件对象。更重要的是，不要使用+= 在循环中增长列表，这会给你二次行为。请尝试以下操作：

protein_parts = []
with open("Dataset.txt", "r") as f:
    for line in f:
        if ">" in line:
            protein_parts.append(line)
        else:
            protein_parts.append(line.strip("\n"))
proteinfinal = ''.join(protein_parts)

注意，在这种特殊情况下，您可以做的最快的事情可能是：

with open("Dataset.txt", "r") as f_in, open("Dataset0.txt", "w") as f_out:
    for line in f_in:
        if ">" in line:
            f_out.write(line)
        else:
            f_out.write(line.strip("\n"))

现在您有两个文件，但如果您必须保留旧名称，只需执行以下操作：

import os
os.remove("Dataset.txt")
os.rename(""Dataset0.txt", "Dataset.txt")

Answer 2

您可以尝试使用 filesplit 将文件拆分为更小的文件，然后使用 MultiProcessing 来同时完成工作。