Mapreduce 作业未运行答案

【问题标题】：Mapreduce job is not runningMapreduce 作业未运行
【发布时间】：2015-07-14 21:58:57
【问题描述】：

在伪分布式模式下安装和配置我的 hadoop 2.7.1 后，一切都在运行，正如您在

中看到的那样

~$ jps
4825 Jps
4345 NameNode
4788 JobHistoryServer
4496 ResourceManager

比我运行 mapreduce 的例子

  hadoop jar /usr/local/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 2 10

然后执行冻结（？）

  Number of Maps  = 2
Samples per Map = 10
15/07/14 08:40:09 WARN util.NativeCodeLoader: Unable to load native-hadoop          library for your platform... using builtin-java classes where applicable
Wrote input for Map #0
Wrote input for Map #1
Starting Job
15/07/14 08:40:13 INFO client.RMProxy: Connecting to ResourceManager at  master/10.0.0.4:8032
15/07/14 08:40:15 INFO input.FileInputFormat: Total input paths to process :  2
15/07/14 08:40:15 INFO mapreduce.JobSubmitter: number of splits:2
15/07/14 08:40:16 INFO mapreduce.JobSubmitter: Submitting tokens for job:  job_1436860512406_0002
15/07/14 08:40:17 INFO impl.YarnClientImpl: Submitted application   application_1436860512406_0002
15/07/14 08:40:17 INFO mapreduce.Job: The url to track the job:  http://master:8088/proxy/application_1436860512406_0002/
15/07/14 08:40:17 INFO mapreduce.Job: Running job: job_1436860512406_0002

2 小时后显示相同..

请给出任何想法..

谢谢

【问题讨论】：

标签： hadoop mapreduce

【解决方案1】：

这里我可以看到你什么时候执行jps命令

~$ jps
4825 Jps
4345 NameNode
4788 JobHistoryServer
4496 ResourceManager

它没有显示您的data-node。表示您的数据节点已关闭。您需要对其进行格式化并重新开始。

我在我的服务器上遇到了同样的问题。我遵循的步骤是：

stop-all.sh
hadoop namenode -format
hadoop datanode -format
转到您的 hdfs namenode 和 datanode 所在的实际目录。使用sudo rm -rf * 删除所有文件
从 tmp 目录中删除文件，例如app/hadoop/tmp/
使用start-all.sh启动hadoop
使用 jps 检查是否一切正常

【讨论】：

【解决方案2】：

设置yarn.nodemanager.resource.memory-mb 和 yarn.nodemanager.resource.cpu-vcores 在纱线配置中更高一些号码，应该解决。

阅读更多来自 cloudera here

【讨论】：