java - 如何在java中组合（连接）具有相同列名的两个数据框

【问题标题】：How can I combine(concatenate) two data frames with the same column name in javajava - 如何在java中组合（连接）具有相同列名的两个数据框
【发布时间】：2016-11-03 08:53:04
【问题描述】：

我可以将数据框附加到具有相同列名的其他数据框的右侧

【问题讨论】：

你的意思是加入数据框还是合并数据框？
我的意思是只是在右边附加一个数据框，而不是加入
权利是什么意思？给我一些示例数据你在看什么？

标签： java apache-spark

【解决方案1】：

你可以像这样加入两个数据框。

df1.join(df2, df1.col("column").equalTo(df2("column")));

如果你正在寻找联合，那么你可以这样做。

df1.unionAll(df2);  // spark 1.6

Spark 2.0，unionAll 更名为union

【讨论】：

但 unionAll 要求数据帧的列数相同。
Union 会失败，除非您有一个在 2019 年 5 月修复的错误。对于卡在旧系统中的人有什么更好的方法吗？ issues.apache.org/jira/browse/SPARK-21109
如果连接列同名，写成这样就够了：val res = df1.join(df2, "column")