Spark DataFrame 类的 union() 方法在哪里？

【问题标题】：Where is the union() method on the Spark DataFrame class?Spark DataFrame 类的 union() 方法在哪里？
【发布时间】：2016-05-01 17:42:16
【问题描述】：

我正在使用 Spark 的 Java 连接器，并且想合并两个 DataFrame，但奇怪的是 DataFrame 类只有 unionAll？这是故意的吗？有没有办法将两个 DataFrame 合并而不重复？

【问题讨论】：

【解决方案1】：

这是故意的吗

如果认为它是故意的是安全的。 RDD.union 和 DataSet.union 等其他联合运算符也将保留重复项。

如果您考虑它是有道理的。虽然等同于UNION ALL 的操作只是一个逻辑操作，它不需要数据访问或网络流量，但查找不同元素需要洗牌，因此可能非常昂贵。

有没有办法合并两个不重复的 DataFrame？

df1.unionAll(df2).distinct()

【讨论】：