将数据框与包含它的较大数据框相交并删除公共行

Question

我有两个数据框：

df_small = pd.DataFrame(np.array([[1, 2, 3], 
                                  [4, 5, 6], 
                                  [7, 8, 9]]),
                     columns=['a', 'b', 'c'])

和

df_large = pd.DataFrame(np.array([[22, 1, 2, 3, 99], 
                                  [31, 4, 5, 6, 75], 
                                  [73, 7, 8, 9, 23],
                                  [16, 2, 1, 2, 13],
                                  [17, 1, 4, 3, 25],
                                  [93, 3, 2, 8, 18]]),
                     columns=['k', 'a', 'b', 'c', 'd'])

现在我想要将两者相交，只取df_large 中不包含df_small 行的行，因此结果应该是：

df_result = pd.DataFrame(np.array([[16, 2, 1, 2, 13],
                                   [17, 1, 4, 3, 25],
                                   [93, 3, 2, 8, 18]]),
                     columns=['k', 'a', 'b', 'c', 'd'])

Answer 1

将DataFrame.merge 与indicator=True 和left join 一起使用，并且因为错误是必要的，所以从df_small 中删除DataFrame.drop_duplicates 的重复项：

m = df_large.merge(df_small.drop_duplicates(), how='left', indicator=True)['_merge'].ne('both')
df = df_large[m]
print (df)
    k  a  b  c   d
3  16  2  1  2  13
4  17  1  4  3  25
5  93  3  2  8  18

另一种解决方案非常相似，仅通过query 和最后删除的列_merge 过滤：

df = (df_large.merge(df_small.drop_duplicates(), how='left', indicator=True)
              .query('_merge != "both"')
              .drop('_merge', axis=1))

Answer 2

使用DataFrame.merge：

df_large.merge(df_small,how='outer',indicator=True).query('_merge == "left_only"').drop('_merge', axis=1)

输出：

    k  a  b  c   d
3  16  2  1  2  13
4  17  1  4  3  25
5  93  3  2  8  18

Answer 3

您可以避免合并并使您的代码更具可读性。合并和删除重复项时会发生什么真的不清楚。 索引和多索引是为交集和其他集合操作而设计的。

common_columns = df_large.columns.intersection(df_small.columns).to_list()
df_small_as_Multiindex = pd.MultiIndex.from_frame(df_small)
df_result = df_large.set_index(common_columns).\ 
        drop(index = df_small_as_Multiindex).\ #Drop the common rows
        reset_index() #Not needed if the a,b,c columns are meaningful indexes