如何在 Spark java 中加入两个 Dataset<Row>？

Question

我在 Java Spark 中有两个数据集，如下所示：

我想获得一个连接的数据集，其中有两个数据集的所有键以及'val1'和'val2'两列，如果缺少一个则为null，像这样

我尝试过使用全外连接：

ds1.join(ds2,col("key1").equalTo(col("key")), "fullouter")

但它仅在 key1 set 等于 key2 set 时才有效。

Answer 1

连接条件中有一个类型，第二个数据集的列应该是“key2”

ds1.join(ds2,ds1("key1").equalTo(ds2("key2")), "fullouter")

结果不会有“key”列，而是 - key1、key2、value1、value2。