如何清理 /var/log/hadoop-hdfs 下的 hadoop-hdfs 日志答案

【问题标题】：how to clean the hadoop-hdfs logs under /var/log/hadoop-hdfs如何清理 /var/log/hadoop-hdfs 下的 hadoop-hdfs 日志
【发布时间】：2013-08-14 02:04:27
【问题描述】：

我在 hadoop 集群中的名称节点运行状况不佳，因为“角色的日志目录不是一个文件系统，其可用空间少于 4GB。/var/log/hadoop-hdfs (free: 2.4GB (11.12%) )，容量：21.7 GB"

我查看了该文件夹，发现其中有 5.5GB 的日志文件，名为“hdfs-audit.log.0”-“hdfs-audit.log.20”。我阅读了这些文件，我真的不需要保存这些日志。我想知道有没有办法永久删除它们并且不再生成它们？（我试图手动删除它们，但似乎它们在几个小时后又回来了。）

我还尝试在我的/etc/hadoop/conf/log4j.properties 中添加"log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=WARN,NullAppender"。但它并没有阻止那些文件“回来”。

提前感谢您的帮助！

【问题讨论】：

你运行的是什么版本的hadoop？更改 log4j.properties 文件后是否重新启动了 namenode？span>
@ChrisWhite 我刚才重启了，5.5G的审计日志文件还在/var/log/hadoop-hdfs下。我要手动删除然后再重新启动吗？
并且版本是Hadoop 2.0.0-cdh4.3.0。谢谢！
耶！在我手动删除它们并重新启动后，它恢复了健康。感谢您的帮助！
我可以手动删除日志文件吗？

标签： logging hadoop log4j hdfs

【解决方案1】：

首先，Hadoop 设计用于比您提到的容量更大的容量，这意味着 5.5GB 日志通常不会那么多。这解释了为什么默认设置不适合您的情况。

你可以：

使用变量navigator.audit_log_max_backup_index（通常为10）减少保留的日志文件数量
或使用navigator.audit_log_max_file_size 的最大日志文件大小

【讨论】：

谢谢！！自从我发布问题以来已经有一段时间了，但我认为我们最终修改了 log_max_file_size 来解决问题。是的，我们在一个小型集群上进行实验，所以机器容量不大。
在哪里设置这些变量？我是否需要重新启动 datanode 才能反映这些更改？