将rdd转换为pairRDD

Question

这是一个新手问题。

是否可以将像(key,1,2,3,4,5,5,666,789,...) 这样具有动态维度的RDD 转换为像(key, (1,2,3,4,5,5,666,789,...)) 这样的pairRDD？

我觉得它应该超级简单，但我不知道怎么做。

这样做的目的是我想对所有值求和，而不是键。

感谢任何帮助。

我使用的是 Spark 1.2.0

编辑受到答案的启发，我更深入地解释了我的用例。我有 N 个（在编译时未知）不同的 pairRDD（键，值），它们必须被连接并且它们的值必须相加。有没有比我想的更好的方法？

Answer 1

首先，如果您只想对所有整数求和，但首先最简单的方法是：

val rdd = sc.parallelize(List(1, 2, 3))
rdd.cache()
val first = rdd.sum()
val result = rdd.count - first

另一方面，如果您想访问元素的索引，可以使用 rdd zipWithIndex 方法，如下所示：

  val indexed = rdd.zipWithIndex()
  indexed.cache()
  val result = (indexed.first()._2, indexed.filter(_._1 != 1))

但在你的情况下，这感觉有点矫枉过正。

我还要补充一点，将 key 作为 rdd 的第一个元素似乎是有问题的。为什么不在你的驱动程序中使用pairs (key, rdd)。很难推断 rdd 中元素的顺序，我不能不考虑女巫键中的自然情况被计算为 rdd 的第一个元素（我不知道你的用例，所以我只能猜测）。

编辑

如果您有一个 rdd 键值对并且您想通过键对它们求和，那么只需：

val result = rdd.reduceByKey(_ + _)

如果你有很多 rdds 的键值对在计算之前你可以把它们加起来

  val list = List(pairRDD0, pairRDD1, pairRDD2)
  //another pairRDD arives in runtime
  val newList = anotherPairRDD0::list
  val pairRDD = newList.reduce(_ union _)
  val resultSoFar = pairRDD.reduceByKey(_ + _)
  //another pairRDD arives in runtime
  val result = resultSoFar.union(anotherPairRDD1).reduceByKey(_ + _)

编辑

我编辑了示例。如您所见，您可以在每次运行时添加额外的 rdd。这是因为 reduceByKey 返回相同类型的 rdd，因此您可以迭代此操作（Ofc 您将不得不考虑性能）。