如何为同一项目中的多个 Spark 应用程序指定不同的 log4j.properties 文件答案

【问题标题】：How to specify different log4j.properties file for multiple spark applications in same project如何为同一项目中的多个 Spark 应用程序指定不同的 log4j.properties 文件
【发布时间】：2020-04-24 12:42:44
【问题描述】：

我的项目有多个 spark 应用程序（每个都有自己的 spark 会话），它们都引用同一个 log4j.properties 文件。我想为某些作业指定不同的 log4j.properties 文件（log4j_1.properties）。我在下面尝试过，但它仍然只从原始文件（log4j.properties）中获取配置。

不确定我在这里缺少什么？

conf.set("spark.driver.extraJavaOptions", "-Dlog4j.configuration=file:log4j_1.properties")

注意：

我可以在 SparkUI 环境选项卡上看到上述选项设置
log4j_1.properties 和 log4j.properties 都在类路径中

【问题讨论】：

标签： scala apache-spark logging log4j

【解决方案1】：

试试

-Dlog4j.configuration=log4j_1.properties

【讨论】：

谢谢。我意识到设置此选项在客户端模式下不起作用。我忘了提到我的代码在本地而不是集群上运行。现在，我将尝试按照您的建议仅指定文件名并在服务器上运行。