如何将 RDD(Spark) 中的一个项目转换为 RDD 中的多个项目？

Question

我从“HBase”获得了一个带有“扫描”操作的 RDD。 这个 RDD 中的每一项都是这样的：x1, y1, y2, y3... 所以这个RDD中的项目是这样的（每一行都是扫描动作的一行结果）：

1. x1, y1, y2, y3
2. x2, y1, y4, y8, y9
3. x3, y5
4. ......
5. xn, y1, y6, y100

我想将此 RDD 转换为另一个 RDD，例如：

1. x1, y1
2. x1, y2
3. x1, y3
4. x2, y1
5. x2，y4
6. ...
7. xn, y1
8. xn, y6
9. xn, y100

如何进行这种转换？

Answer 1

"flatMap that sh*t":

rdd.flatMap(x => {
  val key = x.head
  x.tail.map(y=>(key,y))
})