Python：迭代地添加到数据框

Question

我有以下代码：

for state in state_list:
    state_df = pd.DataFrame()
    for df in pd.read_csv(tax_sample,sep='\|\|', engine='python', dtype = tax_column_types, chunksize = 10, nrows = 100):
        state_df = pd.concat(state_df,df[df['state'] == state])
state_df.to_csv('property' + state + '.csv')

我的数据集非常大，我将它分成块（实际上这些块会大于 10 obs）。我正在获取每个块并检查状态是否与列表中的特定状态匹配，如果是，则将其存储在数据框中并保存下来。 简而言之，我正在尝试获取一个包含许多不同状态的数据帧并将其分解为多个数据帧，每个数据帧只有一个状态并保存到 CSV。

但是，上面的代码给出了错误：

TypeError: first argument must be an iterable of pandas objects, you 传递了一个“DataFrame”类型的对象

知道为什么吗？

谢谢，

迈克

Answer 1

考虑iterating off the chunks，每次运行.isin[] 过滤state_list，但保存在字典或列表之类的容器中。如评论所述，避免循环扩展数据帧的开销。

之后，在容器上与pd.concat 绑定，然后在 state 字段上运行循环的groupby 以单独输出每个文件。

df_list = []

reader = pd.read_csv(tax_sample, sep='\|\|', engine='python', 
                     dtype=tax_column_types, chunksize=10, nrows=100)

for chunk in reader:
   tmp = chunk[chunk['state'].isin(state_list)]    
   df_list.append(tmp)

master_df = pd.concat(df_list)

for g in master_df.groupby('state'):
    g[1].to_csv('property' + g[0] + '.csv')