基于多列的 Spark join 2 数据帧

Question

我有 2 个数据框 df1 和 df2。我在地图中定义了这些数据框的连接条件。但是连接列名称不同。

我知道我可以这样做， val df3 = df2.join(df1, df2("col1") <=> df1("col5") && df2("col2") <=> df1("col6") && df2("col3") <=> df1("col7") && df2("col4") <=> df1("col8"), "left" )

有没有办法使用地图中的值动态创建连接条件。

Answer 1

你可以使用

val df3 = df2.join(df1, Seq("col5", "col6", "col7", "col8"), "left")

如果您之前重命名了 df2 中的列，因为列必须存在于两侧。