使用 Pandas 合并某些行的列数据

Question

我有一个 CSV 文件，我想合并某些行中某些列的数据。

例如我有：

Name	ID	Data	Parent
Name1	100	Blue	001
Name1	101	Grey	001
Name1	102	Grey	001
Name1	103	Black	001
Name2	200	Red	002
Name2	201	Green	002

我想拥有：

Name	ID	Data	Parent
Name1	100	Blue	001
Name1	101	Grey	001
Name1	102	Grey	001
Name1	103	Black	001
Name2	200	Red	002
Name2	201	Green	002
Name1	001	Blue,Grey,Black
Name2	002	Red,Green

我的文件有 62,000 行。我可以在不到 5 秒的时间内更改一些标题、添加/删除/修改列等等。 但是在这部分我有点卡住了。你知道怎么做吗？

感谢您的帮助！

Answer 1

您可以使用groupby+agg 计算新行，然后使用pandas.concat 将其与原始数据框合并：

pd.concat([df,
           (df.groupby('Parent')
              .agg({'Name': 'first', 'Parent': 'first', 'Data': ','.join})
              .rename(columns={'Parent': 'ID'})
              .reset_index(drop=True)
           )
          ]).fillna('') # optional fillna to remove the NaNs

    Name   ID                  Data Parent
0  Name1  100                  Blue    001
1  Name1  101                  Grey    001
2  Name1  102                  Grey    001
3  Name1  103                 Black    001
4  Name2  200                   Red    002
5  Name2  201                 Green    002
0  Name1  001  Blue,Grey,Grey,Black       
1  Name2  002             Red,Green       

Answer 2

您可以使用 groupby.unique 获取每个父级的唯一颜色列表，然后使用 .str.join 将它们设为单个值：

>>> parents = df.groupby(['Name', 'Parent'])['Data'].unique().str.join(',')
>>> parents
Name    Parent
Name1   001       Blue,Grey,Black
Name2   002             Red,Green
Name: Data, dtype: object

如果您的 pandas 选项太旧，您可以将 .unique() 替换为 .agg(set)：

>>> parents = df.groupby(['Name', 'Parent'])['Data'].agg(set).str.join(',')

然后进行一些调整以使其适合初始数据帧的格式，然后我们可以简单地附加它：

>>> parents = parents.reset_index().rename(columns={'Parent': 'ID'}).assign(Parent='')
>>> parents
     Name   ID             Data Parent
0  Name1   001  Blue,Grey,Black       
1  Name2   002        Red,Green       
>>> df.append(parents)
     Name   ID             Data Parent
0  Name1   100             Blue    001
1  Name1   101             Grey    001
2  Name1   102             Grey    001
3  Name1   103            Black    001
4  Name2   200              Red    002
5  Name2   201            Green    002
0  Name1   001  Blue,Grey,Black       
1  Name2   002        Red,Green