基于类型安全配置文件的气流计划激发作业

Question

我正在使用 Airflow 安排将 JAR（对应于 Spark 应用程序的打包）提交到 Hadoop 集群。 不同的 Spark 作业具有相同的 JAR 名称，但根据配置文件（我正在使用带有 TypeSafe 配置库的 .conf 文件）启动不同的作业。我的问题是如何让 Airflow 解析 .conf 文件以便知道要启动哪个 spark 作业。 所以在这里我用spark-submit --class ( same class for all jobs) -Dconfig.file=path/to/config-file启动spark应用程序

关于这个的任何想法请S

Answer 1

我遇到了同样的问题。我设法通过 jvm 系统属性传递配置。它之所以有效，是因为类型安全配置在加载时包含 jvm 系统属性。

更准确地说，我通过 spark.driver.extraJavaOptions 在配置文件中发送所需的属性。