HDInsight word count map reduce 程序卡在 mapper 100% 和 reducer 0%答案

【问题标题】：HDInsight word count map reduce program stuck at mapper 100% and reducer 0%HDInsight word count map reduce 程序卡在 mapper 100% 和 reducer 0%
【发布时间】：2014-02-12 21:53:11
【问题描述】：

我是 Hadoop 新手，我遇到的问题与 posted here 非常相似。唯一的问题是 OP 在 linux 上运行 hadoop，而我在 Windows 上运行它。

我已在本地计算机上安装了 Hadoop Azure HDInsight Emulator。当我运行一个简单的字数统计程序时。 Mapper 作业完美运行 100%，但 Reduce 作业卡在 0%。

我尝试按照 Chris 的建议对其进行调试（作为对 this que 的回应），发现运行减速器作业的主机名存在问题（这是 OP 的确切问题）

Reduce 不在localhost 上运行，而是在某个主机名192.168.17.213 上运行，该主机名没有得到解决，reducer 无法从那里继续。

这些是错误日志

copy failed: attempt_201402111921_0017_m_000000_0 from 192.168.17.213
2014-02-12 01:51:53,073 WARN org.apache.hadoop.mapred.ReduceTask:     
java.net.ConnectException: Connection timed out: connect

OP 通过将 \etc\hosts 文件设置更改为 localhost 解决了该问题。

但这似乎是一个 linux 配置。如何在我的 Hadoop Azure HDInsight Emulator 中将我的主机名设置为 localhost？

【问题讨论】：

标签： azure hadoop mapreduce azure-hdinsight

【解决方案1】：

有一篇文章向您展示了如何在 HDInsight 模拟器上运行字数统计 MapReduce 程序。文章是位于http://www.windowsazure.com/en-us/documentation/articles/hdinsight-get-started-emulator/ 的 HDInsight 模拟器入门。

【讨论】：

这篇文章展示了使用 java map reduce 可执行文件（.jar 文件）运行的地图计数。当我使用 .NET hadoop API 执行我的程序时。我很确定我的程序很好，唯一的问题是我的减速器在一些主机名上运行，而不是 localhost，它无法解析。 Emulator 中的某处必须有一些配置才能将其设置为我想知道的 localhost。