LOG4J 日志记录在 Spark 纱线集群模式下不起作用

Question

我已经构建了一个 pyspark 应用程序并使用 log4j 进行日志记录。

问题是当我在 yarn-client 模式下运行 spark 应用程序时，会发生日志记录，但是当我在 yarn-cluster 模式下运行应用程序时却没有。

我也希望在集群模式下打印日志消息并保存为文件。

已经试过了

Spark-submit —-files option
and setting spark.executor.extrajavaoptions and spark.driver.extrajavaoptions.

My log4j.properties

log4j.rootCategory=INFO,FILE
log4j.appender.FILE=org.apache.log4j.RollingFileAppender


log4j.appender.FILE.File=/some/path/to/edgeNode/SparkDriver.log

log4j.appender.FILE.Append=false
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

Answer 1

如果您希望提供自定义 log4j 文件，请在 spark-submit 命令中提供该文件。这是因为一旦 spark 启动，它自己的 log4j 文件优先于其他 log4j 配置。 提供您的 log4j 文件作为 driver.java.options 标志的一部分。如果您在集群模式而不是客户端运行作业，请在 spark.executors.extraJavaOptions 中提及 log4j 文件。请记住，应该写入日志的位置必须可由驱动程序节点以及您的计算节点访问。