在 PySpark 中禁用 INFO 日志记录 [重复]

Question

我已编辑log4j.properties 文件以设置log4j.rootCategory=INFO, console，并且日志记录已在 spark-shell 中停止，但在 pyspark 中是无情的。

下面的代码在 pyspark 中为我工作。但是我每次打开 pyspark 控制台时都需要设置它。

logger = sc._jvm.org.apache.log4j
logger.LogManager.getLogger("org").setLevel( logger.Level.OFF )
logger.LogManager.getLogger("akka").setLevel( logger.Level.OFF )

我正在寻找解决此问题的永久方法，并想了解当 spark-shell 不是时，pyspark 是如何获取默认属性的。我检查了this 线程，但找不到解决方案。

Answer 1

这对我有用：

sc.setLogLevel("OFF")

这意味着您需要使用 spark 上下文对象设置日志级别 OFF。