如何在执行 hadoop 作业期间查看打印的内容答案

【问题标题】：How to see stuff printed during execution of hadoop job如何在执行 hadoop 作业期间查看打印的内容
【发布时间】：2016-02-19 18:25:41
【问题描述】：

我正在 HortonWorks virtualbox 中运行 mapreduce 作业。在Map() 方法中，我使用System.out.println("xx")，但找不到打印的单词。

从 How to print on console during MapReduce job execution in hadoop我知道我可以在jobtracker web console找到log。
但我不知道在哪里可以找到 jobtracker 网络控制台。

我该怎么做？

【问题讨论】：

标签： hadoop hortonworks-data-platform

【解决方案1】：

感谢 Mobin 回答我的问题，让我为我的问题添加一个答案。除了 Mobin 给出的解决方案外，我还找到了另一种检查 Hadoop 作业日志的方法。命令：yarn logs -applicationId {applicationId} 可以显示保存在应用历史服务器中的hadoop作业日志，包括stderr、stdout和syslog。 System.out.println() 语句打印的内容保存在标准输出中。

【讨论】：

我只是想补充一点，您可以使用 yarn logs -applicationId {applicationID} -log_files stdout 来仅查看 stdout 日志。否则，您将检查整个日志。

【解决方案2】：

该主题是 4 年前的。 JobTracker 和 TaskTracker (MRv1) 已转换为 Application Master 和 ResourceManager (MRv2:YARN)。您可以在 http://localhost:8088/ 的 ResourceManager web ui 中查看您的作业状态。

输出（来自 Reporter 或 Println）通常会打印在 HistoryServer 的任务日志中，可通过以下 URL 获得：http://localhost:19888/jobhistory/job/job_xxxxxxxxxx

PS：如果您使用旧版本的 hadoop，您的输出将通过 JobTracker web ui 获得：http://localhost:50030/jobtracker.jsp(点击完成的工作->点击地图或减少任务->点击任务编号->任务日志->标准输出日志。）

【讨论】：

谢谢Mobin，你帮了很多忙。