在 hadoop 2.2.0 中尝试 Hadoop Mapreduce 示例时出错答案

【问题标题】：Error trying Hadoop Mapreduce example in hadoop 2.2.0在 hadoop 2.2.0 中尝试 Hadoop Mapreduce 示例时出错
【发布时间】：2014-02-04 08:08:50
【问题描述】：

我有以下。 Namenode 和 Datanode 似乎工作得很好。但是 Resourcemanager 和 Nodemanager 似乎有一些我找不到的奇怪的配置问题。乍一看，一切都很好，因为每个 webgui 都在响应。但是如果我执行

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input /out2

我收到以下错误

2014-02-04 08:57:05,906 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1345)) -  map 0% reduce 0%
2014-02-04 08:57:14,146 INFO  [main] ipc.Client (Client.java:handleConnectionFailure(783)) - Retrying connect to server: datanode0/10.80.10.132:59135. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1 SECONDS)
2014-02-04 08:57:15,147 INFO  [main] ipc.Client (Client.java:handleConnectionFailure(783)) -     Retrying connect to server: datanode0/10.80.10.132:59135. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1 SECONDS)
2014-02-04 08:57:16,149 INFO  [main] ipc.Client (Client.java:handleConnectionFailure(783)) - Retrying connect to server: datanode0/10.80.10.132:59135. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1 SECONDS)

这真的很奇怪，因为配置说了一些不同的东西

<name>yarn.nodemanager.address</name>
<value>${yarn.nodemanager.hostname}:36123</value>

这真的很奇怪，因为我不知道他为什么占用端口 59135...顺便说一句，这总是一些随机端口。谁能指出我正确的方向来找到错误

【问题讨论】：

标签： mapreduce resourcemanager

【解决方案1】：

对于 Hadoop 2.2.x 安装指南，请点击此链接

http://nextgenhadoop.blogspot.in/2013/10/steps-to-install-hadoop-220-stable.html

【讨论】：

【解决方案2】：

当我在本地运行 Hadoop 时，我遇到了同样的症状。我发现我需要在 yarn-site.xml 中添加以下内容才能正常工作：

<property>
  <name>yarn.resourcemanager.address</name>
  <value>127.0.0.1:8032</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>127.0.0.1:8030</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>127.0.0.1:8031</value>
</property>

在您的情况下，您需要为这些属性中的每一个设置适当的值，具体取决于您尝试访问的位置。您是否配置了这些属性？

我希望这会有所帮助！

【讨论】：

我不运行它或想在一台机器上运行它。我有一个视图虚拟机。这些值看起来不错......或者它们具有所有默认值。但是你的意思是 Nodemanager 的主机名不应该是 0.0.0.0，而是 127.0.0.1？
我并不是要暗示你必须在一台机器上运行它；只是你需要配置这些属性。 127.0.0.1 是 localhost——你正在运行的机器——我只是用它作为例子。您应该为您的服务器使用正确的主机 IP 地址或 DNS 名称。
这些属性都设置好了……我还是想知道为什么它使用随机端口连接节点管理器

【解决方案3】：

您必须在所有节点中配置主机名和端口号，而不仅仅是在资源管理器节点中

【讨论】：