Intellij Idea - 运行 Spark 应用程序时禁用信息消息

Question

在运行使用 Apache Spark 和 Hbase/Hadoop 库 的应用程序时，我收到了很多消息。例如：

0 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory  - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginSuccess with annotation @org.apache.hadoop.metrics2.annotation.Metric(about=, sampleName=Ops, always=false, type=DEFAULT, valueName=Time, value=[Rate of successful kerberos logins and latency (milliseconds)])

如何禁用它，所以我只是直截了当地像println(varABC) 这样的日志？

Answer 1

您看到的是 Spark 通过 log4j 生成的日志，因为默认情况下，它会启用相当多的打印输出到 stderr 的日志。您可以像通常配置 log4j 行为一样配置它，例如通过 log4j.properties 配置文件。参考http://spark.apache.org/docs/latest/configuration.html#configuring-logging

Answer 2

在 /spark-2.0.0-bin-hadoop2.6/conf 文件夹中有一个文件 log4j.properties.template

从 log4j.properties.template 重命名为 log4j.properties

并在 log4j.properties 中进行以下更改

来自：log4j.rootCategory=INFO，控制台 to：log4j.rootCategory=ERROR，控制台

希望这个帮助！！！...

Answer 3

在$SPARK_HOME/conf 目录下修改log4j.properties 文件 - 将值INFO 更改为ERROR 如下：

log4j.rootLogger=${root.logger}
root.logger=ERROR,console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n
log4j.logger.org.apache.spark.repl.Main=WARN
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.spark-project.jetty=WARN
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=ERROR
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=ERROR
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

这将禁用所有INFO 日志消息，并且只会打印ERROR 或FATAL 日志消息。您可以根据自己的要求更改这些值。