将多个 csv 文件合并为一个 csv 文件

Question

我正在尝试将多个 csv 文件合并为一个，并尝试了多种方法，但我很挣扎。

我从多个 csv 文件导入数据，当我将它们一起编译成一个 csv 文件时，前几行似乎填写得很好，但随后它开始在行之间随机输入可变数字的空格，并且它永远不会完成组合的 csv 文件的填写，它似乎只是不断地向其中添加信息，这对我来说没有意义，因为我正在尝试编译有限数量的数据。

我已经尝试为该文件编写关闭语句，但我仍然得到相同的结果，我指定的组合 csv 文件永远不会停止获取数据，它会在整个文件中随机分配数据 - 我只想要一个正常编译的 csv .

我的代码有错误吗？有什么解释为什么我的 csv 文件会这样吗？

csv_file_list = glob.glob(Dir + '/*.csv') #returns the file list
print (csv_file_list)
with open(Avg_Dir + '.csv','w') as f:
    wf = csv.writer(f, delimiter = ',')
    print (f)
    for files in csv_file_list:
        rd = csv.reader(open(files,'r'),delimiter = ',')
        for row in rd:
            print (row)
            wf.writerow(row)

Answer 1

你的代码对我有用。

或者，您可以按如下方式合并文件：

csv_file_list = glob.glob(Dir + '/*.csv')
with open(Avg_Dir + '.csv','w') as wf:
    for file in csv_file_list:
        with open(file) as rf:
            for line in rf:
                if line.strip(): # if line is not empty
                    if not line.endswith("\n"):
                        line+="\n"
                    wf.write(line)

或者，如果文件不是太大，您可以一次读取每个文件。但在这种情况下，所有空行都会复制标题：

csv_file_list = glob.glob(Dir + '/*.csv')
with open(Avg_Dir + '.csv','w') as wf:
    for file in csv_file_list:
        with open(file) as rf:
            wf.write(rf.read().strip()+"\n")

Answer 2

考虑几个调整：

1. 对读写过程都使用上下文管理器with。这避免了对 close() 文件对象的需要，而您不会对 read 对象执行此操作。
2. 对于跳行问题：使用open() 中的参数newline='' 或csv.writer() 中的lineterminator="\n" 参数。请参阅former 和 latter 的 SO 答案。
3. 使用os.path.join() 正确连接文件夹和文件路径。此方法与操作系统无关，因此适用于使用正斜杠或反斜杠类型的 Windows 或 Unix 机器。

调整后的脚本：

import os
import csv, glob

Dir = r"C:\Path\To\Source"
Avg_Dir = r"C:\Path\To\Destination\Output"

csv_file_list = glob.glob(os.path.join(Dir, '*.csv')) # returns the file list
print (csv_file_list)

with open(os.path.join(Avg_Dir, 'Output.csv'), 'w', newline='') as f:
    wf = csv.writer(f, lineterminator='\n')

    for files in csv_file_list:
        with open(files, 'r') as r: 
            next(r)                   # SKIP HEADERS
            rr = csv.reader(r)
            for row in rr:
                wf.writerow(row)