PySpark：如何计算两列中不同值的数量？

Question

我有一个包含两列 id1, id2 的 DataFrame，我想要计算这两列不同值的数量。本质上这是count(set(id1+id2))。

如何使用 PySpark 做到这一点？

谢谢！

请注意，这不是重复的，因为我希望 PySpark 计算 count()。当然可以获取id1_distinct 和id2_distinct 两个列表并将它们放在set() 中，但在我看来，在处理大数据时这不是正确的解决方案，而且它并不是真正符合PySpark 精神

Answer 1

您可以使用union 将两列合二为一，得到countDistinct：

import pyspark.sql.functions as F

cnt = df.select('id1').union(df.select('id2')).select(F.countDistinct('id1')).head()[0]