从 yaml 文件加载 Java spark 配置

Question

我有一个 java spark 应用程序，我在其中使用 Spark 所需的配置实例化了一个 SparkConf 对象。目前，它看起来像这样：

SparkConf conf = new SparkConf()
    .setAppName(appName)
    .setMaster(master)
    .set("spark.executor.memory", "8g")
    .set....

master 和 app 名称来自一个包含 app 配置的 yaml 文件，其余的 spark 配置是硬编码的，一次设置一个。

我的yaml 文件还包含 Spark 的这些键/值对配置。我的其他（python）应用程序直接从这里使用 spark 配置。它看起来像这样：

spark:
    master: ...
    appname: ... 
    conf:
        spark.mesos.executor.home: '/data/spark'
        spark.executor.memory: '8g'
        spark.network.timeout: '420'
        ... other spark configs

我想知道是否可以使用yaml 文件中的这些配置，使用SparkConf 提供的setAll() 方法在代码中自动设置火花配置，而不是一次设置一个。

这就是我目前从yaml 文件中读取配置的方式，但它不起作用：

LinkedHashMap<String, String> sparkConf = new LinkedHashMap<>((Map<String, String>) ((Map) yaml.get("spark")).get("conf"));

如何从yaml 文件加载spark: conf，以便setAll() 方法可以使用它？显然，该方法需要一个 scala 类型的对象：Traversable<Tuple2<String, String>>。

Answer 1

你可以在你的项目中添加“snakeyaml”依赖来读取java中的yaml文件。

 <dependency>
        <groupId>org.yaml</groupId>
        <artifactId>snakeyaml</artifactId>
        <version>1.17</version>
 </dependency>

现在，如果您的“application.yaml”文件定义了您发布的配置，您可以阅读它并使用 java 中的 setAll() 方法创建 SparkConf，如下所示。

import org.yaml.snakeyaml.Yaml;
import scala.collection.JavaConversions;

Yaml yaml = new Yaml();  
InputStream is = MySparkApplication.class.getClassLoader().getResourceAsStream("application.yaml");
Map<String, Object> yamlParsers = (Map<String, Object>) yaml.load(is);
LinkedHashMap<String,Object> spark = (LinkedHashMap<String,Object>) yamlParsers.get("spark"); 
LinkedHashMap<String,String> config = (LinkedHashMap<String,String>) spark.get("conf");
SparkConf conf = new SparkConf()
             .setAppName((String) spark.get("appname"))
             .setMaster((String) spark.get("master"))
             .setAll(JavaConversions.mapAsScalaMap(config));

Answer 2

对于 jdk8

LinkedHashMap<String,Object> sparkCfg= (LinkedHashMap<>)    spark.get("spark.cfg");
SparkConf conf = new SparkConf();
sparkCfg.forEach((k,v)->{ conf.set(k, v.toString());});