使用 for 循环合并文件

Question

我在一个文件夹中有两千多个 csv 文件，如下所示：

University_2010_USA.csv, University_2011_USA.csv, Education_2012_USA.csv, Education_2012_Mexico.csv, Education_2012_Argentina.csv,

和

Results_2010_USA.csv, Results_2011_USA.csv, Results_2012_USA.csv, Results_2012_Mexico.csv, Results_2012_Argentina.csv,

我想根据文件名中的“年份”（2012 等）和“国家”（墨西哥等）将列表中的第一个 csv 文件与第二个匹配。有没有办法这么快？两个 csv 文件具有相同的列名，我正在查看以下代码：

df0 = pd.read_csv('University_2010_USA.csv')
df1 = pd.read_csv('Results_2010_USA.csv')
new_df = pd.merge(df0, df1, on=['year','country','region','sociodemographics'])

所以基本上，我需要帮助来编写一个遍历数据集的 for 循环...谢谢！

Answer 1

试试这个：

from pathlib import Path

university = []
results = []
for file in Path('/path/to/data/folder').glob('*.csv'):
    # Determine the properties from the file's name
    file_type, year, country = file.stem.split('_')
    if file_type not in ['University', 'Result']:
        continue

    # Make the data frame, with 2 extra columns using properties
    # we extracted from the file's name
    tmp = pd.read_csv(file).assign(
        year=int(year),
        country=country
    )
    if file_type == 'University':
        university.append(tmp)
    else:
        results.append(tmp)

df = pd.merge(
    pd.concat(university),
    pd.concat(results),
    on=['year','country','region','sociodemographics']
)