通过另一个 DataFrame 过滤和分组一个 DataFrame 中的行

Question

我有两个 DF。我想遍历 DF1 中的行并过滤 DF2 中具有相同 id 的所有行，并在 DF1 的新列中获取列“B”值。

data = {'id': [1,2,3]}
df1 = pd.DataFrame(data)

data = {'id': [1, 1, 3,3,3], 'B': ['ab', 'bc','ad','ds','sd']}
df2 = pd.DataFrame(data)

DF1 - id（15k 行） DF2 - id, col1（50M 行）

期望的输出

data = {'id': [1,2,3],'B':['[ab,bc]','[]','[ad,ds,sd]']}
pd.DataFrame(data)

def func(df1):
    temp3=df2.merge(pd.DataFrame(data=[df1.values]*len(df1),columns=df1.index),how='right',on= 
    ['id'])
    temp1 = temp3.B.values
    return temp1
df1['B']=df1.apply(func,axis=1))

我在 df1 上使用合并来过滤和应用 lambda 函数。该代码在大型数据帧上执行需要 1 小时。如何让它运行得更快？

Answer 1

您是否在寻找简单的过滤器和分组列表？

df2[df2['id'].isin(df1['id'])].groupby('id', as_index=False)[['B']].agg(list)

   id             B
0   1      [ab, bc]
1   2      [ca, as]
2   3  [ad, ds, sd]

请注意，按列表分组在性能方面被认为是次优的。