Python for 循环导致系统崩溃

Question

我需要找到包含特定字符串的文本文件的所有行，并将每一行写入不同的文本文件。如何改进我的代码以防止系统在读取大文本文件（6GB 大小）的前 5,000,000,000 行时崩溃？编译代码后，我的电脑运行缓慢，突然死机。即使我停止编译过程，内存仍然被占用并且出现同样的问题。我的 IDE 是 Spyder，我使用 Python 2.7。 谢谢！

我的代码是：

import fileinput

ot = 'N'
j = 1
i = 1
string = "ABCD"

for line in fileinput.input(['/../myfile.txt']):
    if i<=5000000000:
        if string in line:
            output = open(ot + str(j) + '.txt', 'w')
            output.write(line)
            output.close()
            j += 1
        i += 1

Answer 1

你可以试试这个代码：

file_input = open('mhyfile.txt','r')
for line in file_input:
    #Your code here

for line in file_input: 循环将逐行读取文件。但是我在我的 linux 系统中测试并发现 fileinput.input() 不再使用内存。我认为您应该提供有关您的问题的更多信息。

一个可能的问题是您将太多文件写入磁盘并导致系统崩溃。您可以尝试将选定的行写入一个文件并标记行号j。

Answer 2

from itertools import izip
ot = 'N%d.txt'
j = 1
lim = 5*10**9
with open('myfile.txt') as f:
    #the xrange part replaces the i < 5e9 thing you had.
    for line, _ in izip(f,xrange(lim)):
        if 'ABCD' in line:
            output = open(ot % j, 'w')
            output.write(line)
            output.close()
            j += 1

这应该可以正常运行，但如果您的文件很大，则可能需要一段时间，尽管它不应该占用太多内存。

编辑
我添加了 izip 以避免占用大量内存。 izip 与 zip 类似，只是它返回的是生成器而不是列表。

Answer 3

仅选择迭代器的前 limit 项的规范方法是使用 islice from itertools - islice(my_file, limit) 类似于 my_file.readlines()[:limit]，除了它避免将整个文件读入内存。仅计算其中包含给定字符串的行只是稍微复杂一点：使用生成器表达式仅获取这些行，然后 islice 那些。

from itertools import islice
ot = 'N%d.txt'
limit = 5000000000  

with open('myfile.txt') as f:
   lines = (line for line in f if 'ABCD' in line)
   for j, line in enumerate(islice(lines, limit), start=1):
       with open(it % j, 'w') as out:
          out.write(line)

Answer 4

试试这个：

file_num = 1

with open('myfile.txt', 'r') as file:
    for i in range(5000000000):
        if file.readline(i) == 'ABCD':
            with open('N' + file_num + '.txt', 'w') as write_file:
                write_file.write(file.readline(i))
                file_num += 1

不确定它对崩溃有多大帮助，但它更干净。请在下方提问。