PySpark 日志记录答案

【问题标题】：PySpark LoggingPySpark 日志记录
【发布时间】：2019-08-27 07:28:59
【问题描述】：

我正在尝试在 GCP 堆栈驱动程序中查看 spark 日志。下面是栈驱动的截图。

根据上面的屏幕截图，Spark INFO 映射到堆栈驱动程序中的 ERROR。不知道为什么？

我正在使用 log4j 进行 spark 自定义日志记录。以下是日志属性。

# Root logger option
log4j.rootLogger=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p    %c{1}:%L - %m%n

# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark-project.jetty=INFO
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

有什么建议可以将 spark log(INFO) 映射到 stack driver log(INFO)？

【问题讨论】：

标签： apache-spark google-cloud-platform pyspark log4j stackdriver

【解决方案1】：

Stackdriver 读取一些消息作为严重性，在这种情况下您有

log4j.appender.console.target=System.err

尝试使用适当的值将“严重性”字段添加到您的日志中，这样，Stackdriver 会按照您的指定读取它，检查值here。您也可以在页面开头检查正确的格式。

【讨论】：