我有一些数据需要在火花流中分类。分类键值在程序开始时加载到 HashMap 中。因此，每个传入的数据包都需要与这些键进行比较并进行相应的标记。
我意识到 spark 具有称为广播变量的变量和用于分发对象的累加器。教程中的示例使用简单的变量，例如 etc。
如何使用 HashMap 在所有 spark 工作人员上共享我的 HashMap。或者，有没有更好的方法来做到这一点？
我正在用 Java 编写我的 spark 流应用程序。
【问题讨论】：
标签： java apache-spark spark-streaming
在 spark 中，您可以以相同的方式广播任何可序列化的对象。这是最好的方法，因为您只需向工作人员发送一次数据，然后您就可以在任何任务中使用它。
斯卡拉：
val br = ssc.sparkContext.broadcast(Map(1 -> 2))
Java：
Broadcast<HashMap<String, String>> br = ssc.sparkContext().broadcast(new HashMap<>());
【讨论】：
这是一个更好的例子，说明如何在 Java 中广播 HashMap：
在您的 Spark 应用程序中，您将创建或加载一个 HashMap。 然后使用 Sparksession 广播该 HashMap。
HashMap<String,String> bcMap = new HashMap();
bcMap.put("key1","val1");
bcMap.put("key2","val2");
Broadcast<HashMap> bcVar = this.sparkSession.sparkContext().broadcast(bncFlowConflg, classTag(HashMap.class));
你需要下面的类来创建一个classTag：
private static <T> ClassTag<T> classTag(Class<T> clazz) {
return scala.reflect.ClassManifestFactory.fromClass(clazz);
}
您可以参考Spark函数中的广播，例如如下map：
HashMap<String,String> bcVal = bcVar .getValue();
【讨论】：