将生成的 Rdd 转换为 HashMap答案

【问题标题】：Convert Resulting Rdd into HashMap将生成的 Rdd 转换为 HashMap
【发布时间】：2016-06-08 17:58:38
【问题描述】：

我需要将 rdd 转换为 hashMap。我在 RDD 中有如下数据：

(FRUIT, List(Apple,Banana,Mango)) (VEGETABLE, List(Potato,Tomato))

我目前有以下代码

object JsonParse {

 def main(args: Array[String]){


val sc = new SparkContext(new SparkConf().setAppName("JsonParse").setMaster("local"))

val arr = Array(("FRUIT",List("Apple","Banana","Mango")),("VEGETABLE", List("Potato","Tomato")))

val Rdd = sc.parallelize(arr)

下一步怎么走？？

【问题讨论】：

标签： scala apache-spark hashmap

【解决方案1】：

rdd.collectAsMap() // Map(VEGETABLE -> List(Potato, Tomato), FRUIT -> List(Apple, Banana, Mango))

【讨论】：

【解决方案2】：

试试

rdd.collect.toMap

将其转换为Map。操作collect 将rdd 的内容本地收集到主节点。

【讨论】：