未创建 Spark 应用程序 log4j 日志文件答案

【问题标题】：Spark application log4j log file not created未创建 Spark 应用程序 log4j 日志文件
【发布时间】：2017-05-07 20:11:15
【问题描述】：

我正在运行一个 spark 应用程序。我的应用程序有一些日志语句。

我想将日志作为文件存储在 Linux 目录中。

下面是我的 log4j 文件

当我运行 spark 作业时，它会成功启动并完成，但日志没有存储为文件，我看到在 /home/cloudera 中创建了目录日志。但我没有看到创建 omega.log

log4j.properties

# Set everything to be logged to the console
log4j.rootCategory=INFO, console, file
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n


# Direct log messages to a log file
log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.File=/home/cloudera/logs/omega.log
log4j.appender.file.MaxFileSize=10MB
log4j.appender.file.MaxBackupIndex=10
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

有人可以帮我解决这个问题吗？

【问题讨论】：

标签： apache-spark log4j

【解决方案1】：

您需要确保 /home/cloudera/logs 存在于每个节点中，然后尝试将下一个属性添加到 spark-submit cmd

spark-submit
  --master yarn-cluster
  --files /path/to/log4j-spark.properties
  --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j-spark.properties"
  --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-spark.properties"
  ...

【讨论】：