将 Hadoop 中的日志记录级别设置为 WARN答案

【问题标题】：Setting the logging level in Hadoop to WARN将 Hadoop 中的日志记录级别设置为 WARN
【发布时间】：2012-02-17 00:53:34
【问题描述】：

我尝试了多种方法将 Hadoop 中的日志记录级别设置为 WARN，但每次都失败了。首先，我尝试通过简单地将“INFO”替换为“WARN”来配置 log4j.properties 文件。没有结果。

$ hadoop daemonlog -setlevel

是否有可能实际上必须更改源代码才能使其工作？日志记录通常很容易控制，在大多数情况下，对日志记录属性进行轻微调整通常就可以了...

【问题讨论】：

“无处不在”是什么意思？你是说使用log4j.logger.org.apache.hadoop=WARN 不能达到你想要的效果吗？我也会对将级别提高到WARN 持谨慎态度，除非您确定一切基本上总是有效的。
例如，我的 log4j.properties 文件现在包含以下行： log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=WARN hadoop.metrics.log.level =WARN log4j.logger.org.apache.hadoop.mapred.JobTracker=WARN log4j.logger.org.apache.hadoop.mapred.TaskTracker=WARN log4j.logger.org.apache.hadoop.fs.FSNamesystem=WARN log4j.logger .org.apache.hadoop.metrics2=${hadoop.metrics.log.level}

【解决方案1】：

我宁愿使用

HADOOP_ROOT_LOGGER=WARN,DRFA

在 hadoop-env.sh 中

或者你可以在 log4j.properties 中使用 hadoop.root.logger

DRFA 将允许日志进入 File Appender 而不是 Console -> System.err/out。

【讨论】：

与 hadoop cli 一起使用可以通过以下方式为该会话启用日志级别：{code} export HADOOP_ROOT_LOGGER=DEBUG,console hadoop fs -ls / {code}

【解决方案2】：

要动态更改日志级别，以便不需要重新启动守护程序，请使用 hadoop daemonlog 实用程序。

    hadoop daemonlog -setlevel hostname:port className logLevel

例如将datanode日志的日志级别更改为WARN。

    hadoop daemonlog -setlevel hostname:50075 org.apache.hadoop.hdfs.server.datanode.DataNode WARN

【讨论】：

【解决方案3】：

可以通过修改conf/log4j.properties 配置文件中的hadoop.root.logger 属性来调整默认日志级别。请注意，您必须对集群中的每个节点都执行此操作。

conf/log4j.properties中的示例行：

hadoop.root.logger=WARN,console

【讨论】：

【解决方案4】：

Apache hadoop 文档有点误导。如果您正在调试问题，您可以使用以下步骤动态更改日志级别。您应该提及包名而不是文件名。

示例：对于 Namenode：hadoop daemonlog -setlevel lxv-centos-01:50070 org.apache.hadoop.hdfs.server.namenode DEBUG

对于Resourcemanager yarn daemonlog -setlevel lxv-centos-01:8088 org.apache.hadoop.yarn.server.resourcemanager DEBUG

当您重新启动进程时，上述设置将消失。这是调试问题的临时解决方案。

【讨论】：