使用 Pandas 以递归方式连接目录中的 CSV 文件

Question

这是上一篇文章中的link。我在下面引用P.R.'s 回复。

 import pandas as pd
    import glob
    interesting_files = glob.glob("*.csv")
    df_list = []
    for filename in sorted(interesting_files):
        df_list.append(pd.read_csv(filename))
    full_df = pd.concat(df_list)

    full_df.to_csv('output.csv')

我想知道如何使用熊猫修改上述内容。具体来说，我试图递归地移动目录并将所有 CSV 标头及其各自的行值连接起来，然后将其写入一个文件中。使用 P.R 的方法，导致所有标题及其对应的值相互堆叠。我的限制是：

• 写出标题及其对应的值（没有“堆叠”） - 基本上是一个接一个地连接

• 如果一个文件中的列标题与另一个文件匹配，则它们不应重复。在写入一个 CSV 文件时，仅应附加这些值。

• 由于每个文件都有不同的列标题和不同数量的列标题，这些都应该被添加。不应该删除任何内容。

我也尝试了以下方法：

import pandas as pd
import csv
import glob
import os

path = '.'
files_in_dir = [f for f in os.listdir(path) if f.endswith('csv')]

for filenames in files_in_dir:
    df = pd.read_csv(filenames)
    df.to_csv('out.csv', mode='a')

这里有两个示例 CSV：

ID,Type,ACH,SH,LL,SS,LS,ISO,MID,Pass,TID,CID,TErrors
12821767,Query,,,,,,,,,,,

和

Type,ID,CC,CCD,Message,MemberIdentifier,NPass,UHB,UAP,NewAudioPIN,AType,ASuufix,Member,Share,Note,Flag,Card,MA,Preference,ETF,AutoT,RType,Locator,ISO,MID,Pass,TID,CID,Errors
UMember,12822909,True,10/31/2013 5:22:19 AM,,,,False,False,,,,,,,,,,,,,Member,,,,,,,

基于以上示例，输出应类似于以下内容：

    ID,Type,ACH,SH,LL,SS,LS,ISO,MID,Pass,TID,CID,TErrors,CC,CCD,Message,MemberIdentifier,NPass,UHB,UAP,NewAudioPIN,AType,ASuufix,Member,Share,Note,Flag,Card,MA,Preference,ETF,AutoT,RType,Locator,Errors
12822909,UMember,,,,,,,,,,,,True,10/31/2013 5:22:19 AM,,,,False,False,,,,,,,,,,,,,Member,,
12821767,Query ,,,,,,,,,,,,,,,,,,,,,,,,, etc.

（第二个示例中的所有标题列都应使用分隔符'，'填充第一个示例中没有对应标题的第二行）

可以看到，第二个示例有更多的列标题。此外，一些 标题相同（但顺序不同）。我正在尝试结合所有 这些 - 以及它们的值，遵循上述要求。我是 想知道最好的方法是在一个 pandas的内置方法？

Answer 1

一种非基于pandas 的方法，它使用OrderedDict 和csv 模块。

from glob import iglob
import csv
from collections import OrderedDict

files = sorted(iglob('*.csv'))
header = OrderedDict()
data = []
for filename in files:
    with open(filename, 'rb') as fin:
        csvin = csv.DictReader(fin)
        try:
            header.update(OrderedDict.fromkeys(csvin.fieldnames))
            data.append(next(csvin))
        except TypeError:
            print filename, 'was empty'
        except StopIteration:
            print filename, "didn't contain a row"

with open('output_filename.csv', 'wb') as fout:
    csvout = csv.DictWriter(fout, fieldnames=list(header))
    csvout.writeheader()
    csvout.writerows(data)

鉴于您的示例输入，这将为您提供：

ID,Type,ACH,SH,LL,SS,LS,ISO,MID,Pass,TID,CID,TErrors,CC,CCD,Message,MemberIdentifier,NPass,UHB,UAP,NewAudioPIN,AType,ASuufix,Member,Share,Note,Flag,Card,MA,Preference,ETF,AutoT,RType,Locator,Errors
12821767,Query,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
12822909,UMember,,,,,,,,,,,,True,10/31/2013 5:22:19 AM,,,,False,False,,,,,,,,,,,,,Member,,

Answer 2

在 pandas 中，您既可以附加列名，也可以轻松地重新排序数据框。见this article on merging frames。

要附加帧并重新排序它们，您可以使用以下内容。重新索引就像使用列表一样简单。还有更多解决方案here。

import pandas,os

df = None
dfList=[]
for filename in [directory+x for x in os.listdir(path)]:
    dfList.append(pd.read_csv(filename))
df=pandas.concat(dfList)
df.to_csv('out.csv', mode='w')

使用列表理解，这将是：

import pandas,os    
pandas.concat([pd.read_csv(filename) for filename in [directory+x for x in os.listdir(path) if x.endswith("csv") is True]]).to_csv('out.csv', mode='w')

如果您想重新索引任何内容，只需使用列表即可。

cols=sorted(list(df.columns.values))
df=df[cols]
#or
df=df[sorted(list(df.columns.values))]