获取 CSV 的长度以显示进度

Question

我正在处理大量 CSV 文件，每个文件都包含大量行。我的目标是逐行获取数据并使用 Python 将其写入数据库。但是，由于有大量数据，我想跟踪已写入的数据量。为此，我计算了排队的文件数量，并在每次文件完成时继续添加。

我想对 CSV 文件执行类似的操作，并显示我所在的行以及总共有多少行（例如：Currently on row 1 of X）。我可以通过从一个开始然后执行以下操作轻松获得当前行：currentRow += 1，但是我不确定如何在不经过耗时的阅读行的情况下获得总数。

另外，因为我的 CSV 文件都存储在 zip 档案中，我目前正在使用 ZipFile 模块读取它们，如下所示：

#The Zip archive and the csv files share the same name
with zipArchive.open(fileName[:-4] + '.csv', 'r') as csvFile:
    lines = (line.decode('ascii') for line in csvFile)
    currentRow = 1

    for row in csv.reader(lines):
        print(row)
        currentRow += 1

关于如何快速获取 CSV 文件的总行数有什么想法吗？

Answer 1

以下作品适合我：

• 安装tqdm：pip install tqdm
• 读取 csv 并显示进度的代码：

    with open('./data.csv') as csv_file:
        lines = len(csv_file.readlines())

    with open('./data.csv') as csv_file:
        csv_reader = csv.reader(csv_file, delimiter=',')
        header = next(csv_reader)

        for row in tqdm(csv_reader, total=lines):
            print(row)

Answer 2

如果您只是想显示一些进展，您可以尝试使用tqdm。

from tqdm import tqdm

with zipArchive.open(fileName[:-4] + '.csv', 'r') as csvFile:
    lines = [line.decode('ascii') for line in csvFile]
    currentRow = 1

    for row in tqdm(csv.reader(lines), total=len(lines)):
        print(row)
        currentRow += 1

这应该会为您提供一个流畅的进度条，您几乎无需付出任何努力。

Answer 3

如果不打开文件并计算行数，就无法计算文件中的行数。

如果您的文件太大以至于无法使用 row_count = sum(1 for row in file_handle) 计算行数，并且无法将整个文件读入内存，则可能需要采用不同的方法。

以字节为单位获取文件的长度非常容易 (How to check file size in python?)。如果您在阅读时计算每行的长度（以字节为单位），则可以报告“Currently on byte 13927 of 4972397 (2.8%)”

对于以 zip 格式存储的文件，Zipfile.getinfo(name).file_size 是未压缩文件的大小。