无法使用 YARN 运行 MapReduce 作业答案

【问题标题】：Can't run a MapReduce job with YARN无法使用 YARN 运行 MapReduce 作业
【发布时间】：2013-12-10 22:48:10
【问题描述】：

我正在迈出掌握 hadoop 的第一步。我已经在分布式模式下（在两个虚拟机上）设置了 CDH4.5。我在使用 YARN 运行 MapReduce 作业时遇到问题。我可以成功启动 DistributedShell 应用程序（来自 CDH 示例），但是一旦我运行 MapReduce 作业，它就会永远挂在那里。

这就是我要发布的内容：

sudo -uhdfs yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 1 1

这些是最后一个资源管理器的日志行：

13/12/10 23:30:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1386714123362_0001
13/12/10 23:30:02 INFO client.YarnClientImpl: Submitted application application_1386714123362_0001 to ResourceManager at master/192.168.122.175:8032
13/12/10 23:30:02 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1386714123362_0001/
13/12/10 23:30:02 INFO mapreduce.Job: Running job: job_1386714123362_0001

一旦我运行作业，节点管理器的日志不会收到任何新消息。

这是我在资源管理器的网页上看到的关于该工作的内容：

State - ACCEPTED
FinalStatus - UNDEFINED
Progress - (progress bar in 0%) 
Tracking UI - UNASSIGNED

Apps Submitted - 1
Apps Pending - 1 
Apps Running - 0

【问题讨论】：

主机中运行着什么样的服务？对我来说，主服务器上缺少 JobHistory
尝试使用此参数而不是 1 1 : 16 1000 运行 pi 程序。没有任何改变？

标签： hadoop mapreduce hadoop-yarn

【解决方案1】：

我在http://hadoop.apache.org/docs/r2.0.6-alpha/hadoop-project-dist/hadoop-common/releasenotes.html找到了这个：

纱线-300。由 shenhong 报告并由 Sandy Ryza (resourcemanager , scheduler) 修复的主要错误在 YARN-271 之后，公平调度器可以无限循环并且不调度任何应用程序。在yarn-271之后，当yarn.scheduler.fair.max.assign

尝试使用新版本，即 2.0 以上

【讨论】：

【解决方案2】：

可能是系统资源问题，我通过重启系统修复了。

【讨论】：