识别 Dataframe 中的重复记录

Question

我有一个如下的数据框，可以识别任何人的全名：

-------------------
| f_name | l_name |
-------------------
| abc    | xyz    |
| xyz    | abc    |
| pqr    | lmn    |
-------------------

这里第二行和第一行基本相同。

考虑这样一种情况：数据中出现了一个条目，错误地将姓放在名字下面（f_name），而把名字放在姓氏下面（l_name） >)

如何识别和删除/解决 spark 数据框中的此类重复/错误记录？

期望的结果：

-------------------
| f_name | l_name |
-------------------
| abc    | xyz    |
| pqr    | lmn    |
-------------------

解决方案可以是udf 或SQL 或两者兼有。谢谢！

Answer 1

使用可用于Dataset 的dropDuplicates 函数和正确的键：

val df = Seq(
  ("abc", "xyz"),
  ("xyz", "abc"),
  ("pqr", "lmn")
).toDF("f_name", "l_name")

df.withColumn("key", array_sort(array('f_name, 'l_name))).dropDuplicates("key")

+------+------+----------+
|f_name|l_name|       key|
+------+------+----------+
|   pqr|   lmn|[lmn, pqr]|
|   abc|   xyz|[abc, xyz]|
+------+------+----------+