如何覆盖每个驱动程序的 Spark 的 log4j.properties？

Question

我正在尝试覆盖 Spark 的默认 log4j.properties，但没有任何运气。我尝试将以下内容添加到 spark-submit：

--conf "spark.executor.extraJavaOptions=Dlog4j.configuration=/tmp/log4j.properties"  
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=/tmp/log4j.properties"

但这似乎不起作用。我还尝试在spark-submit 中使用--files 选项，但这似乎也不起作用。有没有人设置了日志记录，所以每个驱动程序都有一个 log4j.properties 文件，而不使用默认值？

我正在使用 Mesos 和 Marathon 运行 Spark 驱动程序。我不确定--files 选项，也找不到任何关于它的使用方式和具体作用的示例。

我还想提一下，我手动将 log4j.properties 文件上传到了我的所有节点，这些节点都有我的更改以供测试。

Spark 的版本目前为 1.1.0。

Answer 1

我不相信spark.driver.extraJavaOptions 参数存在。对于spark.executor.extraJavaOptions，您似乎有错字。试试这个：

--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=/tmp/log4j.properties"

Answer 2

对于驱动程序/shell，您可以在运行 spark-shell 或 spark-submit 脚本时使用 --driver-java-options 进行设置。

在 Spark 中，您不能设置 --conf spark.driver.extraJavaOptions，因为它是在 JVM 启动之后设置的。使用 spark 提交脚本时，--driver-java-options 会将这些选项替换为运行驱动程序的 JVM（例如 java -Dblah MyClass）的启动。

请注意，-Dlog4j.configuration 属性应该是一个有效的 URL，因此如果它来自文件系统的某个位置，请使用 file: URL。如果资源变量无法转换为 URL，例如由于 MalformedURLException，则 log4j 将从类路径中搜索资源。

例如，使用自定义 log4j.properties 文件；

./spark-shell --driver-java-options "-Dlog4j.configuration=file:///etc/spark/my-conf/log4j.warnonly.properties"

Answer 3

我做不到

--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=/tmp/log4j.properties"

或

--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:///tmp/log4j.properties"

工作。

唯一对我有用的是 --driver-java-options。

Answer 4

只有几个细节是关闭的。

conf 标志应如下所示：
--conf spark.executor.extraJavaOptions="-Dlog4j.configuration=log4j.properties" --conf spark.driver.extraJavaOptions="-Dlog4j.configuration=/tmp/log4j.properties" --files /tmp/log4j.properties

您还需要使用--files 参数将log4j.properties 文件上传到集群，执行程序可以访问它。此外，由于上述配置假设您使用client 模式，在cluster 中，两个配置将使用相同的相对路径：-Dlog4j.configuration=log4j.properties

附：如果您的日志覆盖还需要其他依赖项，您可能还需要提供它们：--conf spark.driver.extraClassPath=custom-log4j-appender.jar 请参阅：custom-log4j-appender-in-spark-executor

祝你好运

Answer 5

有多种方法可以实现它，但这取决于您/应用程序需要为您的用例选择最好的一种 -

• 通过为 Spark Driver 和 Executor 提供额外的 java 选项，而您的 log4j.properties 存在于集群的每个节点上的同一路径（或本地计算机，如果您在本地运行作业），请使用以下命令

  spark-submit --master local[2] --conf 'spark.driver.extraJavaOptions=Dlog4j.configuration=file:/tmp/log4j.properties' --conf 'spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/tmp/log4j.properties' --class com.test.spark.application.TestSparkJob target/application-0.0.1-SNAPSHOT-jar-with-dependencies.jar prod

如果 log4j.properties 存在于根类路径的 jar 中，那么您可以在命令中跳过 file:，如下所示 --conf 'spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties' --conf 'spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.properties'

• 通过将 log4j.properties 文件传送到 yarn 并为 Spark Driver 和 Executor 提供额外的 java 选项，这样就不需要每个节点上的 log4j.properties，yarn 将在这种情况下进行管理，使用以下命令

  spark-submit --master local[2] --files /tmp/log4j.properties --conf 'spark.driver.extraJavaOptions=Dlog4j.configuration=log4j.properties' --conf 'spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.properties' --class com.test.spark.application.TestSparkJob target/application-0.0.1-SNAPSHOT-jar-with-dependencies.jar prod

• 通过更改 spark conf 或 spark 默认 log4j.properties 文件

  更改或更新 log4j.properties 在 /etc/spark/conf.dist/log4j.properties

我已经尝试了所有这些并为我工作，我建议还通过以下 spark 帖子中的标题“调试您的应用程序”，这真的很有帮助 - https://spark.apache.org/docs/latest/running-on-yarn.html

Answer 6

TL;DR

我正在使用 Mesos 和 Marathon 运行 Spark 驱动程序。我不确定 --files 选项，也找不到任何关于它的使用方式和具体作用的示例。

我还想提一下，我手动将 log4j.properties 文件上传到了我的所有节点，这些节点都有我的更改进行测试。

由于您的log4j.properties 已经在您的节点上，您唯一的问题是您忘记了file: 前缀。就目前而言，您的 URI 无效。

他们应该是：

--conf "spark.executor.extraJavaOptions=Dlog4j.configuration=file:/tmp/log4j.properties"  
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/tmp/log4j.properties"

---

添加log4j.properties 和--files

在spark-submit 期间将log4j.properties 发送到您的节点非常容易。 您需要指定：

--files /absolute/path/to/your/log4j.properties 

它们将在 spark-nodes 的根目录中可用，因此您可以通过以下方式访问它们：

--conf "spark.executor.extraJavaOptions=Dlog4j.configuration=file:log4j.properties"  
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties"

---

需要更多？

如果您想了解在使用 spark-submit 时配置日志记录的其他方式，请访问我的其他详细答案：https://stackoverflow.com/a/55596389/1549135