在 Spark 中为特定应用程序禁用 INFO 消息

Question

我尝试在特定应用程序中禁用 Spark 中的 INFO 消息，但我不能，我仍然看到它。

我尝试的代码来自这里：(How to stop messages displaying on spark console?)

import org.apache.log4j.Logger
import org.apache.log4j.Level

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)`

我还编辑了 Spark 安装目录中的 log4j 文件，如下：

log4j.rootCategory=WARN, console

它奏效了！但这不是我想要的解决方案......我想禁用每个应用程序的 INFO 消息。

有没有cmets？谢谢！！

Answer 1

你必须这样做：

import org.apache.log4j.Logger
import org.apache.log4j.Level

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

在创建SparkContext之前。
做这样的事情：

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)
val sc = new SparkContext(conf)

另外，你可以使用getRootLogger方法：

Logger.getRootLogger().setLevel(Level.ERROR)