自动限制每个文件的行数并创建新文件

Question

我正在编写一个将大量数据写入 .csv 文件的脚本。我想自动限制每个文件的行数并创建新文件。

Answer 1

一种简单的方法是使用一个类来跟踪您的行并在需要时写入新文件（例如self.max_row）

例如：

import csv

class MyCSV:
    def __init__(self):
        self.max_row = 10
        self.cur_row = 0
        self.file_number = 0
        self.file_handle = None
        
    def write_row(self, row):
        if self.cur_row >= self.max_row or self.file_handle == None:
            self.cur_row = 0
            self.file_number += 1
            
            if self.file_handle:
                self.file_handle.close()
                
            self.file_handle = open(f'output_{self.file_number:04}.csv', 'w', newline='')
            self.csv_handle = csv.writer(self.file_handle)
            
        self.csv_handle.writerow(row)
        self.cur_row += 1


my_csv = MyCSV()

for row in range(1000):   # create some simulated rows
    output_row = [row, "value1", "value2"]
    my_csv.write_row(output_row)

这将创建output_0001.csv 形式的输出文件名，每个文件包含10 行。显然，您可以根据需要进行调整。

您也可以改用csv.DictWriter() 并为每一行传递一个字典。