如何在 pandas 中将多个 csv 文件合并到一个 DataFrame 中？

Question

我有一个文件夹，里面有很多 csv 文件，每个文件都包含信号数据的消息。它们具有以下结构：

Frequency [kHz],Power [dbm]
852000,-135.812845793404
852008,-142.13849097071088
852016,-138.21218081816156
852024,-137.32593610384734
852032,-139.464539680863

我想将这些文件合并到一个以频率为键列的 DataFrame 中，因为每个文件中的频率都是相同的。所以它在 DataFrame 中应该是这样的：

Frequency [kHz] | Power [dbm] | Power [dbm] | Power [dbm] | ...

于是我写了如下代码：

df = pd.DataFrame()
for f in csv_files:
    csv = pd.read_csv(f)
    df = pd.merge(df, csv, on='Frequency [kHz]', sort=False)

但我唯一得到的是KeyError: 'Frequency [kHz]'

我最接近我想要的结果是通过pd.concat([pd.read_csv(f) for f in csv_files], axis=0, sort=False)，但中间还有那些频率列。

Answer 1

我认为您可以将它们全部收集为 dfs，然后合并，如下所示：

data_frames = []
for f in csv_files:
    df = pd.read_csv(f)
    data_frames.append(df)

df_merged = reduce(lambda left, right: pd.merge(left, right, on=['Frequency [kHz]'],
                                            how='outer'), data_frames)

Answer 2

您可以将它们全部读入字典并使用 concat：

import pandas as pd
import glob

path = 'path' 
all_files = glob.glob(path + "/*.csv")

df_dict1 = {}

for filename in all_files:
    df = pd.read_csv(filename)
    df_dict1.update({f'{filename}':df})

df = pd.concat(df_dict1, axis =1)
df = df.droplevel(0, axis =1)
df.index = df['Frequency [kHz]']
df.drop(columns = 'Frequency [kHz]', inplace = True)