从 pandas groupby 获取数据帧以写入镶木地板

Question

我有一些包含以下列的 csv 数据：

country, region, year, month, price, volume

我需要将其转换为以下内容：

country, region, datapoints

其中数据点由以下任一组成： (year, month, price, volume) 元组数组，或（更好）

{ (year, month) : {price, volume} }

实际上，我正在尝试将数据重塑为时间序列，然后可以将其存储为镶木地板。对于它的价值，我正在使用 fastparquet 将数据帧写入 parquet 文件。

这可能吗？

Answer 1

您可以使用apply 创建“数据点”列：

df['datapoint'] = df.apply(lambda row: (row['year'],row['month'],
                                         row['price'],row['volume']),1)

或

df['datapoint_better'] = df.apply(lambda row: {(row['year'],row['month']):
                                                 {row['price'],row['volume']}},1)

正如我所说，您不能将 {row['year'],row['month']} 作为字典中的键

然后，如果您想骑车：

df = df.drop(['year','month','price','volume'],1)

编辑：好的，我错过了 groupby，无论如何，您可以先使用键和项目创建两列：

df['key'] = df.apply(lambda row: ( row['year'], row['month']),1)
df['item'] = df.apply(lambda row: { row['price'], row['volume']},1)

然后您使用apply 执行groupby 并使用这两列执行pd.Series.to_dict，例如：

df_output = (df.groupby(['country','region'])
               .apply(lambda df_grouped: pd.Series(df_grouped.item.values,
                                                   index=df_grouped.key).to_dict())
               .reset_index().rename(columns={0:'datapoints'}))

reset_index 和rename 是为了得到预期的输出

注意：我建议对商品也使用tuple，而不是set，以防止出现任何订单问题，因为set没有被订购。