从 Apache Spark 中的数据帧生成所有可能的组合

Question

我正在尝试做一些非常简单的事情，其中​​我有 2 个已转换为数据框的数组，并且我想显示所有可能的组合。例如，我现在的输出如下所示：

+-----------+-----------+
|         A |         B |
+-----------+-----------+
|     First |         T |
|    Second |         P |
+-----------|-----------+

但我真正想要的是：

+-----------+-----------+
|         A |         B |
+-----------+-----------+
|     First |         T |
|     First |         P |
|    Second |         T |
|    Second |         P |
+-----------|-----------+

到目前为止，我已经有了一些相当简单的代码来将我的数组映射到列中，但是对于同时使用 Scala 和 Spark 来说还是很陌生的，我不确定如何掌握所有这些组合。这是我目前所拥有的：

val firstColumnValues = Array("First", "Second")
val secondColumnValues = Array("T", "P")

val xs = Array(firstColumnValues, secondColumnValues).transpose
val mapped = sparkContext.parallelize(xs).map(ys => Row(ys(0), ys(1)))
val df = mapped.toDF("A", "B")

df.show

...

case class Row(first: String, second: String)

提前感谢您的帮助

Answer 1

在 Spark 2.3 中

val firstColumnValues = sc.parallelize(Array("First", "Second")).toDF("A")
val secondColumnValues = sc.parallelize(Array("T", "P")).toDF("B")
val fullouter = firstColumnValues.crossJoin(secondColumnValues).show