如何使用 CDH4 和 Yarn 查看我的 Hadoop 作业历史记录和日志？答案

【问题标题】：How do I view my Hadoop job history and logs using CDH4 and Yarn?如何使用 CDH4 和 Yarn 查看我的 Hadoop 作业历史记录和日志？
【发布时间】：2012-11-19 07:38:32
【问题描述】：

我使用 Yarn 下载了适用于 Hadoop 的 CDH4 tar，作业运行良好，但我不知道在哪里查看我的作业的日志。在 MRv1 中，我只需访问 JobTracker 网络应用程序，它就有工作历史记录。也可以从这里访问单个作业的日志，或者通过转到 logs/userlogs 目录。

在我的新 Yarn 设置中（仅在单台计算机上运行），我有日志目录，但没有日志/用户日志文件夹。

当我转到 ResourceManager 网页 localhost:8088 时，有一个“所有应用程序”部分，但这里没有显示任何条目。当我转到 JobHistory 网页 localhost:19888 时，没有列出任何工作。

我想知道是否存在配置问题。这是我的 yarn-site.xml 条目：

<property>
  <name>yarn.nodemanager.local-dirs</name> 
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/local</value>
</property> 
<property> 
  <name>yarn.nodemanager.log-dirs</name>
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/logs</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>
<property>
  <name>yarn.app.mapreduce.am.staging-dir</name>
  <value>/user</value>
</property>

非常感谢任何有关调试内容的提示。

更新：我检查了 nodemanager 日志目录，它是空的。此外，jobhistory 目录是空的。一件奇怪的事情是 Hadoop 告诉我，INFO mapreduce.Job: The url to track the job: http://localhost:8080/，但是当我从浏览器尝试时，该地址不可用。

更新 #2： 我注意到我运行的每个作业都有相同的作业 ID（“job_local_0001”）。这似乎是某个地方的配置问题。

【问题讨论】：

我在使用 hapoop-client java api 时能够解决同样的问题。希望这可以帮助。 stackoverflow.com/questions/21345022/…

标签： configuration hadoop cloudera hadoop-yarn

【解决方案1】：

听起来这里的作业是在本地运行，而不是在 YARN 上。要在 YARN 上运行作业，请确保您的 mapred-site.xml 中有此内容：

<property>
  <name> mapreduce.framework.name</name>
  <value>yarn</value>
</property>

一般而言，通过向 cdh-user 邮件列表发送电子邮件，您可能会更快地获得此类问题的回复。

【讨论】：

【解决方案2】：

将以下配置添加到 mapred-site.xml 文件中

<property>
  <name> mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>

并删除您在 yarn-site.xml 中放入的 jobhistory 特定配置，例如。以上来自 yarn-site.xml 的最后两个配置

【讨论】：