在 hadoop 0.23.6 中运行 mapreduce 示例时出错答案

【问题标题】：Error running mapreduce sample in hadoop 0.23.6在 hadoop 0.23.6 中运行 mapreduce 示例时出错
【发布时间】：2013-03-27 12:32:13
【问题描述】：

我在 Ubuntu 12.04 LTS 中部署了 Hadoop 0.23.6。我能够复制文件并进行文件操作。我正在使用 YARN 进行 mapreduce。

当我尝试使用 hadoop-mapreduce-examples-0.23.6.jar 运行任何 mapreduce 应用程序时，出现以下错误

使用的命令： bin/hadoop jar hadoop-mapreduce-examples-0.23.6.jar randomwriter -Dmapreduce.randomwriter.mapsperhost=1 -Dmapreduce.job.user.name=$USER -Dmapreduce.randomwriter.bytespermap=10000 -Ddfs.blocksize=536870912 - ddfs.block.size=536870912 -libjars hadoop-mapreduce-client-app-0.23.6.jar 输出

Hadoop 版本：0.23.6

container_1364342550899_0001_01_000002 的容器启动失败：java.lang.IllegalStateException：为尝试_1364342550899_0001_m_000000_0 返回无效的随机播放端口号 -1

【问题讨论】：

标签： hadoop

【解决方案1】：

验证您的 yarn-site.xml 配置。您需要配置以下属性。

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

【讨论】：

我已经在 yarn-site.xml 中拥有了这些属性。然后我尝试重新格式化名称节点，但仍然没有工作。我终于下载了 hadoop 2.x 版本并从现有的 hadoop 0.23.6 中复制了所有 *-site.xml 并且它工作了。