JobTracker UI 未显示 hadoop 作业的进度答案

【问题标题】：JobTracker UI not showing progress of hadoop jobJobTracker UI 未显示 hadoop 作业的进度
【发布时间】：2015-01-06 08:31:22
【问题描述】：

我正在单节点集群下测试我的 MR 作业。一旦我安装了 mahout 9 版本，Mapreduce 作业停止在 jobtracker 中显示进度。（不知道这是否发生在 mahout 安装后）

当我在我的 hadoop 集群中运行作业时，它不会像以前那样在作业跟踪器 UI 中显示状态，并且控制台中显示的执行日志也不同（类似于 mahout 日志）

为什么会这样？

提前致谢。

【问题讨论】：

你能在这里添加一个错误日志的sn-p吗？
@RamananR：没有错误日志或任何东西。我的 MapReduce 作业执行良好。但是在安装 mahout 后我无法在 Jobtracker UI 中看到它的进度（假设..Dnt 知道这是否发生在 mahout 安装之后）

【解决方案1】：

您的作业很可能正在使用LocalJobRunner 运行。如果您的作业使用LocalJobRunner，您会在mapreduce 作业输出中注意到mapred.LocalJobRunner 事件。这可能有几个原因：

如果是 MapReduce v1：

确保您的 mapred-site.xml 具有属性 mapred.job.tracker 并指向适当的 JobTracker 主机和端口：

<property>  
  <name>mapred.job.tracker</name>  
  <value>[fqdn_of_jobtracker]:[port_of_jobtracker]</value>  
</property>

一般情况下，如果 hadoop 无法读取属性mapreduce.framework.name 或属性已设置为local，则mapreduce 将选择LocalJobRunner。

如果这没有成功，请尝试使用 hadoop 的通用命令行选项显式指定属性，例如：

hadoop jar hadoop-examples.jar pi -jt [fqdn_of_jt]:[port_of_jt] 2 1000

如果是 YARN 和 MapReduce v2：

如果您在这种情况下在 YARN 上运行 MapReduce，如果您尚未在 mapred-site.xml 中指定 mapreduce 框架名称，则作业将由 LocalJobRunner 运行，因此请确保您具有以下属性：

<property>  
  <name>mapreduce.framework.name</name>  
  <value>yarn</value>  
</property>

【讨论】：