Python - 根据两列组合删除数据框中的重复项？

Question

我在 Python 中有一个包含 3 列的数据框：

Name1 Name2 Value
Juan  Ale   1
Ale   Juan  1

并希望消除基于列 Name1 和 Name2 组合的重复项。

在我的示例中，两行是相等的（但它们的顺序不同），我想删除第二行，只保留第一行，所以最终结果应该是：

Name1 Name2 Value
Juan  Ale   1

任何想法都会非常感激！

Answer 1

通过使用np.sort 和duplicated

df[pd.DataFrame(np.sort(df[['Name1','Name2']].values,1)).duplicated()]
Out[614]: 
  Name1 Name2  Value
1   Ale  Juan      1

性能

df=pd.concat([df]*100000)

%timeit df[pd.DataFrame(np.sort(df[['Name1','Name2']].values,1)).duplicated()]
10 loops, best of 3: 69.3 ms per loop
%timeit df[~df[['Name1', 'Name2']].apply(frozenset, axis=1).duplicated()]
1 loop, best of 3: 3.72 s per loop

Answer 2

您可以转换为frozenset 并使用pd.DataFrame.duplicated。

res = df[~df[['Name1', 'Name2']].apply(frozenset, axis=1).duplicated()]

print(res)

  Name1 Name2  Value
0  Juan   Ale      1

frozenset 是必需的，而不是 set，因为 duplicated 使用散列来检查重复项。

列比行更好。对于大量行，使用@Wen 的基于排序的算法。

Answer 3

知道我回答这个问题有点晚了，但无论如何都要做出贡献:)

您还可以使用get_dummies 和add 来创建可散列的行

df[~(pd.get_dummies(df.a).add(pd.get_dummies(df.b), fill_value=0)).duplicated()]

时间不如@Wen 的回答，但还是比apply+frozen_set快很多

df=pd.concat([df]*1000000)
%timeit df[~(pd.get_dummies(df.a).add(pd.get_dummies(df.b), fill_value=0)).duplicated()]
1.8 s ± 85 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit df[pd.DataFrame(np.sort(df[['a','b']].values,1)).duplicated()]
1.26 s ± 19 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit df[~df[['a', 'b']].apply(frozenset, axis=1).duplicated()]
1min 9s ± 684 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)