Spark-Scala 根据 Prod/UAT 等环境读取 application.conf 文件答案

【问题标题】：Spark-Scala read application.conf file based on environment like Prod/UAT etcSpark-Scala 根据 Prod/UAT 等环境读取 application.conf 文件
【发布时间】：2017-09-14 06:26:44
【问题描述】：

我有一个在 AWS EMR 上运行的 spark 应用程序。我们在 AWS 上有不同的环境，例如 prod、uat、dev 等。我创建了 application.conf 文件，其中包含 s3 buket、iam 角色等所需的变量，但显然这些变量对于每个 env 都是不同的。

如何将不同的 conf 文件传递给 spark-submit，这样我就不必在部署期间更改每个环境的 application.conf 文件？

【问题讨论】：

specific config by environment in Scala的可能重复
我有 application.conf 和 uat.conf。我想在 UAT 环境中运行 SPARK 作业时传递 uat.conf，但我无法使用 spark-submit 命令的 -Dconfig.resource 选项来完成。
@puhlen - 请注意，这不是您提到的问题的重复。是的，两者都在谈论 application.conf，但是命令行选项 -D 不适用于 spark-submit！！！

标签： scala apache-spark emr

【解决方案1】：

根据@ozeebee 在post 中给出的答案，我们也可以将其用于spark-submit。

在 spark-submit 中，您需要在 spark.driver.extraJavaOptions 中指定属性，如下所示：

spark-submit 
--conf "spark.driver.extraJavaOptions=-Dconfig.resource=devtest.conf" 
--class thesyscat.query.ingest.eventenrichment.EventEnrichSparkApp 
--master yarn 
--deploy-mode client 
<jar_location>

【讨论】：