合并多个子文件夹中同名的 csv 文件

Question

我的文件夹中有 csv 文件，我想读取这些文件并将这些文件合并到一个 csv 中。

文件夹 A 有 2 个子文件夹 B 和 C ， B 和 C 有其他子文件夹， csv 文件在最后一个子文件夹中。

这是文件夹图：

Answer 1

您可以使用glob 和pandas.concat。

import glob
import pandas as pd

files = glob.glob("A/*/*/*.csv")
df = pd.concat([pd.read_csv(f) for f in files])

df.to_csv("merged.csv")

Answer 2

您可以使用os.walk。 os.walk 给你一个元组列表，元组的最后一部分代表当前目录中的所有文件名。

import os
path = os.path.join('path', 'to', 'directory')
files = [os.path.join(path,file) for dir, dir_name, file_list in os.walk(path) for file in file_list]

复杂的列表理解基本上就是：

# unpack the tuple into dir, dir_name, file_list

files = []
for dir, dir_name, file_list in os.walk(path):
    for file in file_list:
        files.append(os.path.join(path,file))

然后像这样使用pd.concat

import pandas as pd

combined_df = pd.concat([pd.read_csv(file) for file in files])