如何堆叠几个 1 x 1 数据帧以获得 1 x n 数据帧？

Question

我有一个包含数百万行的巨大数据框。从这些行中，我得到了新的 k 数据框，它只有 1 行和 1 列。 将这些 k 数据帧连接在一起以便现在获得一个具有 1 行和 k 列的数据帧 1 x k 的好方法是什么。

1. 过去，我开始在所有 k 数据帧中使用 crossJoin，例如 df1.crossJoin(df2).crossJoin(df3).crossJoin(dfk)

   这导致了广播超时错误，

2. 后来我转向了我认为更智能的解决方案。

   df1.withColumn("temp_id", lit(0)).join(df2.withColumn("temp_id", lit(0)), "temp_id").drop("temp_id").

   这导致了一个奇怪但类似的广播超时错误。

我真正想要的结果是一个新的 DataFrame，它有 1 行和 k 列，在 numpy/pandas 语言中可能是

pandas.concat(..., axis=1) 或者 np.vstack(.....)

Answer 1

我认为您要执行的操作是“zip”操作。 Spark 没有为 Dataframes 提供此方法，但您可以通过以下示例了解它的工作原理（Spark 版本遵循此示例）：

scala> val l1 = List("a", "b")
l1: List[String] = List(a, b)

scala> val l2 = List(1,2)
l2: List[Int] = List(1, 2)

scala> val zipped = l1.zip(l2)
zipped: List[(String, Int)] = List((a,1), (b,2))

scala> zipped.foreach(println)
(a,1)
(b,2)

scala> 

如何在 Spark 中执行此操作已在此处得到解答： How to zip two (or more) DataFrame in Spark

基本上，你这样做：

val zippedRDD = df1.rdd.zip(df2.rdd)

这将为您留下一个 RDD，您可以根据需要以通常的方式将其转换为 DF 或 DS。