现在我有两个这样的 RDD（数组）：
1,2
3,4
第二个是这样的
5,6,7
8,9,10
现在我使用 rdd1.union(rdd2) 结果是这样的：
1,2
3,4
5,6,7
8,9,10
但是我想要的结果是这样的：
1,2,0
3,4,0
5,6,7
8,9,10
我只是想得到一个数组，其行具有相同数量的元素，并且新元素设置为0
我想知道如何解决这个问题？
【问题讨论】：
标签： scala apache-spark rdd
你几乎做了你想做的事！一般的解决方案是：您只需将第一个 Rdd 映射到与第二个 rdd 相同的结构。我建议使用元组和类型别名来使您的代码更清晰。比方说：
import org.apache.spark.rdd.RDD
type X = Double
type Y = Double
type Z = Double
val rdd1: RDD[(X, Y)] = sc.parallelize(List((1,2), (3,4)))
val rdd2: RDD[(X,Y,Z)] = sc.parallelize(List((5,6,7), (8,9,10)))
val result: RDD[(X,Y,Z)] = rdd1
.map {
case(x,y) => (x, y, 0.0)
}
.union(rdd2)
但是，如果您不确定长度，请使用数组，将它们映射到其他数组中，然后使用零和联合。
【讨论】：