PySpark 日志记录？

Question

我希望我的 Spark 驱动程序（用 Python 编写）输出一些基本的日志记录信息。我可以看到三种方法可以做到这一点：

1. 使用 PySpark py4j 网桥访问 Spark 使用的 Java log4j 日志记录工具。

log4jLogger = sc._jvm.org.apache.log4j LOGGER = log4jLogger.LogManager.getLogger(__name__) LOGGER.info("pyspark script logger initialized")

1. 只需使用标准控制台打印。

2. logging Python 标准库模块。这似乎是理想的和最 Pythonic 的方法，但是，至少开箱即用，它不起作用，并且记录的消息似乎不可恢复。当然，这可以配置为记录到 py4j->log4j 和/或控制台。

所以，官方编程指南 (https://spark.apache.org/docs/1.6.1/programming-guide.html) 根本没有提到日志记录。这令人失望。应该有标准的文档化推荐方式来从 Spark 驱动程序记录日志。

搜索了这个问题，发现了这个：How do I log from my Python Spark script

但是那个帖子的内容并不令人满意。

具体来说，我有以下几个问题：

• 我是否缺少从 PySpark 驱动程序记录的标准方法？
• 记录到 py4j->log4j 与控制台有什么优缺点吗？

Answer 1

更简洁的解决方案是使用标准 python 日志记录模块和自定义分布式处理程序来收集来自 spark 集群的所有节点的日志消息。

见"Logging in PySpark" of this Gist.

Answer 2

在我的 python 开发环境（单机 Spark 设置）中，我使用这个：

import logging


def do_my_logging(log_msg):

    logger = logging.getLogger('__FILE__')
    logger.warning('log_msg = {}'.format(log_msg))

do_my_logging('Some log message')

使用 spark-submit 脚本工作。