如何启用 hdfs 和 mapred 审计日志？

Question

我是 windows 中的 hadoop-2.6.0 用户。我想启用 hdfs 和 mapred 日志。我可以通过在 hadoop-env.cmd 中设置以下属性来启用 hdfs 审计日志，但不能为 mapred 启用审计日志。

set HDFS_AUDIT_LOGGER=INFO,RFAAUDIT

如果我在 hadoop-env.cmd 中设置上述变量，则 hdfs-audit.log 文件存储在 %HADOOP_LOG_DIR% 中。

我想启用 mapred 审计日志。在 %HADOOP_HOME%\etc\hadoop 中可用的 log4j.properties 中，我可以看到贴在下面的 mapred 的日志记录属性

映射审核日志

mapred.audit.logger=INFO,NullAppender
mapred.audit.log.maxfilesize=256MB
mapred.audit.log.maxbackupindex=20
log4j.logger.org.apache.hadoop.mapred.AuditLogger=${mapred.audit.logger}
log4j.additivity.org.apache.hadoop.mapred.AuditLogger=false
log4j.appender.MRAUDIT=org.apache.log4j.RollingFileAppender
log4j.appender.MRAUDIT.File=${hadoop.log.dir}/mapred-audit.log
log4j.appender.MRAUDIT.layout=org.apache.log4j.PatternLayout
log4j.appender.MRAUDIT.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n
log4j.appender.MRAUDIT.MaxFileSize=${mapred.audit.log.maxfilesize}
log4j.appender.MRAUDIT.MaxBackupIndex=${mapred.audit.log.maxbackupindex}

但无法启用映射审核日志记录。当我更改以下属性时，会在 %HADOOP_LOG_DIR% 中存储一个空文件 ma​​pred-audit.log。

mapred.audit.logger=INFO,MRAUDIT
-
-
-
log4j.additivity.org.apache.hadoop.mapred.AuditLogger=true
-
-

如何启用映射审核日志？

我们将不胜感激。

Answer 1

我找到了答案here

由于我使用的是 YARN 框架，我只是在 log4j.properties 文件中为 mapred.audit.logger 添加了以下行

log4j.logger.org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger=${mapred.audit.logger}