大内存处理的循环执行时间不一致

Question

我有许多大型 csv 文件（每个约 400 MB，需要处理数千个，每个程序执行至少一百个）在每行的第一个单元格中包含长字符串（每行大约 100-300 个字符 1每个文件百万行），我的 Python 程序检查子字符串是否在给定的字符串中。如果是这样，那么我将包含该字符串的行附加到一个列表中，以便在处理完所有输入文件后存储在另一个系列的 csv 文件中。对于前十几个输入文件，程序以每个文件大约 20 秒的速度运行，我对此感到满意。

代码的相关部分（字符串处理循环）如下所示：

check = set(['a','b','c'])
storage = []
data = glob.glob('data_address/*.csv')
for raw_file in data:
    read_file = open(raw_file,'r',newline='',encoding='utf-8')  
    list_file = list(csv.reader((line.replace('\0','') for line in read_file), delimiter=","))
    row_count = sum(1 for row in list_file)

    for i in range(1, row_count);
        text = set(list_file[i][0].split())
        if len(check.intersection(text)) > 0:
           storage.append(list_file[i])

问题是随着处理的输入文件数量的增加，我开始有某些文件需要超过 20 秒的时间。此外，处理这些异常需要的时间越来越长——第一个异常需要大约 50 秒来处理，在循环结束时，异常可能需要数千秒来处理，这表明问题出在循环本身而不是任何个人档案。就字符串匹配的数量而言，这些异常与其他文件没有明显不同。

我不明白的是处理时间的增加并不一致。在每个异常之间我仍然有很多 20 秒的文件，所以不能说程序只是随着内存存储的增加而变慢。有谁知道发生了什么？ cProfile 无法显示任何可能导致问题的组件。

我在 Windows 10 上使用 64 位 Python 3.8 和 1TB 硬盘，大约 10,000 MB 活动内存。

Answer 1

我们还没有足够的信息来正确诊断问题，因此我想我会尝试改进您共享的代码：

import csv
import pathlib

check = {'a', 'b', 'c'}

data_path = pathlib.Path("data_address")

saved_rows = []

for curr_path in data_path.glob("*.csv"):
    with open(curr_path, newline='') as curr_file:
        reader = csv.reader((line.replace('\0', '') for line in curr_file), delimiter=",")

        for row in reader:
            row_text = row[0].split()
            if any(elem in check for elem in row_text):
                saved_rows.append(row)

虽然我无法对其进行测试，但它应该可以正常工作。