如何在数据框中对 csv 文件进行排序和连接

Question

我目前在一个项目中，我需要处理大量的 CSV 文件，这些文件充满了类似这样的数据：

    CSV1.csv

      A      B     C     D    ...
    1 1980  1     0.9   0.8
    2 2003  0.9   0.8   0.2
    3 1665  0.7   0.2   0.4
    4 1982  0.6   1     0.2
   ...

     CSV2.csv
      A      E     F     G   ...
    1 1665  1     0.4   1
    2 1980  0.4   0.8   0.6
    3 2003  0.1   0.3   0.9
    4 1982  0.3   1     0.6
   ...
  

所有 CSV 文件在 A 列中具有相同的值，但杂乱无章。我正在导入这样的所有文件：

path = r"/Users/.../folder/"
all_files = glob.glob(path + "/*.CSV")
all_csv = (pd.read_csv(f, sep=',') for f in all_files)
df_merged   = pd.concat(all_csv, axis=1, ignore_index=False) 

它被合并，但数据框杂乱无章。

使用df_merged.sort() 排序是不正确的，因为在A 处没有具有相同顺序的列。我知道我可以手动导入每个 csv 文件并应用 .sort()，但这些是 394 个 csv 文件...

我觉得 like this 可能适用于大量 CSV 文件的导入，但我不知道如何调用代码行之前数据框组合 (all_csv是一个生成器对象）。

---

附：最后我执行以消除重复的A 列：

df_merged = df_merged.loc[:, ~df_merged.columns.duplicated()]

Answer 1

您应该将每个数据帧合并在一起，而不是使用 concat：

df = all_csv[0]
for csv in all_csv[1:]:
    df = df.merge(csv)

输出：

>>> df
      A    B    C    D    E    F    G
0  1980  1.0  0.9  0.8  0.4  0.8  0.6
1  2003  0.9  0.8  0.2  0.1  0.3  0.9
2  1665  0.7  0.2  0.4  1.0  0.4  1.0
3  1982  0.6  1.0  0.2  0.3  1.0  0.6

注意：您需要将all_csv 设为列表而不是生成器：

all_csv = [pd.read_csv(f, sep=',') for f in all_files]

Answer 2

1. 对齐可以通过设置A为索引来获得。

2. 使用数据帧列表并不吸引人，因为这会占用大量内存。

   • 解决方案 1： 在循环中构建其他数据框

   import pandas as pd
   
   path = r"/Users/.../folder/"
   all_files = glob.glob(path + "/*.CSV")
   
   df = pd.read_csv(all_files[0], sep=',').set_index('A')
   for f in all_files[1:]:
       dfs = pd.read_csv(f, sep=',').set_index('A')
       df = pd.concat([df, dfs], axis=1)
   

   • 解决方案2：保留生成器并使用functools.reduce

   import pandas as pd
   from functools import reduce
   
   path = r"/Users/.../folder/"
   all_files = glob.glob(path + "/*.CSV")
   
   def_gen = (pd.read_csv(io.StringIO(fn), sep='\s+').set_index('A') for fn in all_files)
   df = reduce(lambda df, d: pd.concat([df, d], axis=1), def_gen)
   

   df:

           B    C    D    E    F    G
   A                                 
   1665  0.7  0.2  0.4  1.0  0.4  1.0
   1980  1.0  0.9  0.8  0.4  0.8  0.6
   1982  0.6  1.0  0.2  0.3  1.0  0.6
   2003  0.9  0.8  0.2  0.1  0.3  0.9
   

就个人而言，我会采用简单的路径（“解决方案 1”）并添加一些日志记录来确定哪里会出现导入错误。因为在现实世界中，数据很少是干净且格式正确的。