如何配置 Hadoop 以将我的 MapReduce 日志发送到 graylog2

Question

我正在使用 Hadoop 1.2.1 创建一系列链式 map reduce 作业，这些作业将在我们的生产环境中定期运行。目前，我们正在使用 graylog2 集中访问日志，我希望将工作中的日志发送到我们的日志服务器。

我已将 gelfj jar 文件添加到 /usr/share/hadoop/lib 并修改 /etc/hadoop/task-log4j.properties 以将日志输出到 graylog 但到目前为止我没有看到任何东西到达 graylog2 端.谁能确认 hadoop 作业可以使用备用日志附加程序以及应该更新哪些配置文件？

Answer 1

想通了。

在 hadoop 配置目录（在我的例子中是 /etc/hadoop）有一个名为 task-log4j.properties 的文件。覆盖附加程序“log4j.appender.TLA”会影响任务的日志输出。