当数据框 B 中的列值不相似时，从数据框 A 中删除行

Question

我的目标

我正在尝试创建一个新数据框，该数据框是通过比较来自不同数据框的列而形成的。

更具体地说，当ColumnA 中的列值与ColumnB 中的列值不同/不存在时， 整行将被忽略且不包含在new_df 中

数据框

>>> df

                ColumnA             Stats
0               Cake                872
1               Cheese Cake         912  
2               Egg                 62
3               Raspb Jam           091
4               Bacon               123
5               Bread               425

>>> df1

                ColumnB  
0               Cake  
1               Cheese Cake    
3               Raspberry Jam  
4               Bacon 

我的尝试

由于我不确定如何实现这一点，我已尽力制作以下内容，尽管我知道它可能无法达到我的预期输出：

new_df = df[df['ColumnA'].str.strip() in df1['ColumnB'].str.split()]

错误：

TypeError: 'Series' objects are mutable, thus they cannot be hashed

预期输出

如您所见，对于df1 中不存在的列值，行将从df 中删除。在这种情况下，Bread 和 Egg 都不存在，因此，new_df 不包含它们的 rows

>>> new_df
                ColumnA         Stats
0               Cake            872
1               Cheese Cake     912  
3               Raspberry Jam   091
4               Bacon           123

---

编辑：

Raspb Jam 也保留在新的 DF 中，因为它在非常基本的层面上类似于 Raspberry Jam。

Answer 1

您可以使用 map 函数来提供显式查找。

df = DataFrame( {'ColumnA' : ['Cake' ,'Cheese Cake','Egg' , 'Raspb Jam' ,'Bacon' ,'Bread'],'Value' : [872,912,62,91,123, 425]})
df1 = DataFrame(['Cake' ,'Cheese Cake','Raspberry Jam','Bacon'],columns=['ColumnB'])
value_map = {'Raspberry Jam' : 'Raspb Jam' }
df1.ColumnB = df1.ColumnB.map(lambda x : value_map.get(x,x))
df1.rename(columns={'ColumnB' : 'ColumnA'},inplace=True)
df.merge(df1)
   ColumnA  Value
0         Cake    872
1  Cheese Cake    912
2    Raspb Jam     91
3        Bacon    123

或者，使用 left_on 和 right_on 参数来指定要合并的列名。

df.merge(df1,how='inner',left_on='ColumnA',right_on='ColumnB')[['ColumnA','Value']]

Answer 2

我没有精力处理所有边缘情况。但是您可能会发现此方法很有帮助。如果没有，不用担心。

• 使用set 和<= 来测试df 中的字符是否在df1 中作为相似度的度量。
• 利用numpy的广播来帮忙

---

a = df.ColumnA.apply(set).values
b = df1.ColumnB.apply(set).values

print(df[(a[:, None] <= b).any(1)])

       ColumnA  Stats
0         Cake    872
1  Cheese Cake    912
3    Raspb Jam     91
4        Bacon    123

---

对 cme​​ts 的回应

您可以强制列为str

a = df.ColumnA.astype(str).apply(set).values
b = df1.ColumnB.astype(str)..apply(set).values

解释

• a[:, None] 将一维 a 数组重塑为二维数组。这使我能够执行 numpy 广播
• set 对象使用 <= 执行 issubset 检查。由于a 和b 都是sets，我们对a[:, None] <= b] 执行每个配对比较是a[i] 的子集b[j] 的所有i，j。
• (a[:, None] <= b).any(1) 检查 a[i] 是否是任何 j 的 b[j] 的子集。意思是我在b 中找到了至少一个元素，a[i] 是其子集。