Hadoop 在 Spark 中的已配置等效项

【问题标题】：Hadoop's Configured equivalent in SparkHadoop 在 Spark 中的已配置等效项
【发布时间】：2019-02-19 13:57:24
【问题描述】：

Hadoop 提供Configured 和Configurable 让类访问Configuration 对象。除了通过构造函数传递SparkConf之外，Spark中有没有类似的方法？

【问题讨论】：

【解决方案1】：

首先，使用 conf/spark-defaults.conf 提供配置，例如：

    spark.master            spark://5.6.7.8:7077
    spark.executor.memory   4g
    spark.eventLog.enabled  true
    spark.serializer        org.apache.spark.serializer.KryoSerializer

其次，使用 spark-submit 传递配置参数，例如：

    ./bin/spark-submit --name "My app" --master local[4] --conf spark.eventLog.enabled=false
  --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" myApp.jar

【讨论】：