如何使用 log4j 将日志记录到在 YARN 上运行的 Spark 应用程序内的本地文件系统？

Question

我正在构建一个 Apache Spark Streaming 应用程序，在 YARN 上运行时无法将其记录到本地文件系统上的文件中。如何做到这一点？

我已经设置了log4.properties文件，这样它就可以成功写入本地文件系统上/tmp目录下的一个日志文件（如下图部分）：

log4j.appender.file=org.apache.log4j.FileAppender
log4j.appender.file.File=/tmp/application.log
log4j.appender.file.append=false
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

当我使用以下命令在本地运行我的 Spark 应用程序时：

spark-submit --class myModule.myClass --master local[2] --deploy-mode client myApp.jar

它运行良好，我可以看到日志消息已写入我本地文件系统上的/tmp/application.log。

但是当我通过 YARN 运行相同的应用程序时，例如

spark-submit --class myModule.myClass --master yarn-client  --name "myModule" --total-executor-cores 1 --executor-memory 1g myApp.jar

或

spark-submit --class myModule.myClass --master yarn-cluster  --name "myModule" --total-executor-cores 1 --executor-memory 1g myApp.jar

我在运行 YARN 的机器的本地文件系统上看不到任何 /tmp/application.log。

我错过了什么。

Answer 1

看起来您需要附加到启动任务/作业时使用的 JVM 参数。

尝试将conf/spark-defaults.conf 编辑为described here

spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j.properties

spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j.properties

或者尝试将 conf/spark-env.sh 编辑为 described here 以添加相同的 JVM 参数，尽管 conf/spark-defaults.conf 中的条目应该可以工作。

如果您仍然没有得到任何乐趣，您可以在命令行上显式传递 log4j.properties 文件的位置以及您的 spark-submit，如果该文件包含在您的 JAR 文件和根目录中，则像这样你的类路径

spark-submit --class sparky.MyApp --master spark://my.host.com:7077 --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-executor.properties" myapp.jar

如果文件不在您的类路径中，请使用 file: 前缀和完整路径，如下所示

spark-submit ... --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j-executor.properties" ...

Answer 2

上述使用 spark.executor.extraJavaOptions、spark.driver.extraJavaOptions 指定 log4j.properties 的选项只会在本地记录它，并且 log4.properties 应该在每个节点上本地存在。

如https://spark.apache.org/docs/1.2.1/running-on-yarn.html 文档中所述，您也可以使用 --files 选项上传 log4j.properties 以及您的应用程序。这将在 HDFS 上进行纱线聚合日志记录，您可以使用命令访问日志

yarn logs -applicationId <application id>

Answer 3

1) 要调试 YARN 上的 Spark 如何解释您的 log4j 设置，请使用 log4j.debug 标志。

2) Spark 将创建 2 种 YARN 容器，驱动程序和工作程序。所以你想与所有容器共享一个你提交应用程序的文件（你不能在 JAR 中使用文件，因为这不是真正运行的 JAR），所以你必须使用 --files Spark 提交指令（这个将与所有工作人员共享文件）。

像这样：

spark-submit     
    --class com.X.datahub.djobi.Djobi \
    --files "./log4j.properties" \
    --driver-java-options "-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties" \
    --conf "spark.executor.extraJavaOptions=-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties " \
    ./target/X-1.0.jar "$@"

其中 log4j.properties 是 src/main/resources/config 文件夹中的项目文件。

我可以在控制台看到：

log4j: Trying to find [config/log4j.properties] using context 
classloader org.apache.spark.util.MutableURLClassLoader@5bb21b69.
log4j: Using URL [jar:file:/home/hdfs/djobi/latest/lib/djobi-1.0.jar!/config/log4j.properties] for automatic log4j configuration.
log4j: Reading configuration from URL jar:file:/home/hdfs/djobi/latest/lib/djobi-1.0.jar!/config/log4j.properties

所以文件被考虑在内，你也可以在 Spark webUI 上查看。

Answer 4

或者，您可以使用 log4j 的 PropertyConfigurator 来定义您的自定义日志属性。

例如

 import com.foo.Bar;

 import org.apache.log4j.Logger;
 import org.apache.log4j.PropertyConfigurator;

 public class MySparkApp {

   static Logger logger = Logger.getLogger(MySparkApp.class.getName());

   public static void main(String[] args) {

     // Location to property file
     PropertyConfigurator.configure(args[0]);

     logger.info("Entering application.");

     logger.info("Exiting application.");
   }
 }

您的属性文件应具有以下属性，

log4j.appender.file=org.apache.log4j.FileAppender

log4j.appender.file.File=/tmp/application.log

log4j.appender.file.append=false

log4j.appender.file.layout=org.apache.log4j.PatternLayout

log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

编辑：更新 log4j 文档的链接。 Spark 使用 log4j 2，而不是 v1.2

参考：http://logging.apache.org/log4j/2.x/

Answer 5

在您的 log4j.properties 文件中，您还应该将 log4j.rootCategory 从 INFO,console 修改为 INFO,file。

log4j.rootCategory=INFO, console    
log4j.rootCategory=INFO,file