查找共享值的行

Question

我有一个如下所示的 pandas 数据框：

df = pd.DataFrame({'name': ['bob', 'time', 'jane', 'john', 'andy'], 'favefood': [['kfc', 'mcd', 'wendys'], ['mcd'], ['mcd', 'popeyes'], ['wendys', 'kfc'], ['tacobell', 'innout']]})

-------------------------------
name |         favefood
-------------------------------
bob  | ['kfc', 'mcd', 'wendys']
tim  | ['mcd']
jane | ['mcd', 'popeyes']
john | ['wendys', 'kfc']
andy | ['tacobell', 'innout']

对于每个人，我想知道有多少其他人的最爱食物与他们自己的重叠。 即，对于每个人，我想知道有多少其他人与他们有非空交集。

生成的数据框如下所示：

------------------------------
name |         overlap
------------------------------
bob  |            3
tim  |            2
jane |            2
john |            1
andy |            0 

问题是我有大约 200 万行数据。我能想到的唯一方法是通过嵌套的 for 循环 - 即对于每个人，遍历整个数据框以查看重叠的内容（这将非常低效）。无论如何使用熊猫表示法可以更有效地做到这一点吗？谢谢！

Answer 1

背后的逻辑

s=df['favefood'].explode().str.get_dummies().sum(level=0)
s.dot(s.T).ne(0).sum(axis=1)-1
Out[84]: 
0    3
1    2
2    2
3    1
4    0
dtype: int64
df['overlap']=s.dot(s.T).ne(0).sum(axis=1)-1

来自sklearn的方法

from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
s=pd.DataFrame(mlb.fit_transform(df['favefood']),columns=mlb.classes_, index=df.index)

s.dot(s.T).ne(0).sum(axis=1)-1

0    3
1    2
2    2
3    1
4    0
dtype: int64