在 Spark java 中访问广播变量

Question

我需要使用 Java RDD API 处理 spark 广播变量。这是我迄今为止尝试过的代码：

这只是检查其是否有效的示例代码？就我而言，我需要处理两个 csvfiles。

          SparkConf conf = new SparkConf().setAppName("BroadcastVariable").setMaster("local");
          JavaSparkContext ctx = new JavaSparkContext(conf);
          Map<Integer,String> map = new HashMap<Integer,String>();
          map.put(1, "aa");
          map.put(2, "bb");
          map.put(9, "ccc");
          Broadcast<Map<Integer, String>> broadcastVar = ctx.broadcast(map);
          List<Integer> list = new ArrayList<Integer>();
          list.add(1);
          list.add(2);
          list.add(9);
          JavaRDD<Integer> listrdd = ctx.parallelize(list);
          JavaRDD<Object> mapr = listrdd.map(x -> broadcastVar.value());
          System.out.println(mapr.collect());

它会像这样打印输出：

[{1=aa, 2=bb, 9=ccc}, {1=aa, 2=bb, 9=ccc}, {1=aa, 2=bb, 9=ccc}]

我的要求是：

 [{aa, bb, ccc}]

可以按照我要求的方式做吗？

Answer 1

我用JavaRDD<Object> mapr = listrdd.map(x -> broadcastVar.value().get(x)); 插入JavaRDD<Object> mapr = listrdd.map(x -> broadcastVar.value());。

它现在可以工作了。