地图减少作业卡在地图 0% 减少 0%答案

【问题标题】：Map reduce job getting stuck at map 0% reduce 0%地图减少作业卡在地图 0% 减少 0%
【发布时间】：2016-10-15 02:30:11
【问题描述】：

我正在运行著名的 wordcount 示例。我有一个本地和产品 hadoop 设置。相同的示例在 prod 中工作，但在本地不工作。有人可以告诉我我应该寻找什么。工作卡住了。任务日志是：

~/tmp$ hadoop jar wordcount.jar WordCount /testhistory /outputtest/test
Warning: $HADOOP_HOME is deprecated.

13/08/29 16:12:34 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/08/29 16:12:35 INFO input.FileInputFormat: Total input paths to process : 3
13/08/29 16:12:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/08/29 16:12:35 WARN snappy.LoadSnappy: Snappy native library not loaded
13/08/29 16:12:35 INFO mapred.JobClient: Running job: job_201308291153_0015
13/08/29 16:12:36 INFO mapred.JobClient:  map 0% reduce 0%

本地hadoop以伪分布式模式运行。所有 3 个进程，namenode，datanode，jobtracker 都在运行。如果需要一些额外的信息，请告诉我。

【问题讨论】：

JT/TT 日志中有什么有趣的地方吗？
JobTracker 日志：http://pastebin.com/jY1CAQaA 我在日志文件中没有看到任何问题。
感谢您提供信息。 h/w 呢？它和 prod 集群一样吗？尝试监视并查看是否存在一些与 h/w 相关的问题，很可能是 RAM。
您必须有一个正在运行的 TT。 TT 是实际运行映射器和减速器的守护进程。没有它，你就无法前进。请确保它运行良好。或者显示 TT 日志。
太棒了，它奏效了。我启动了tasktracker，一切正常。谢谢：）。如果您愿意，可以将其作为解决方案发布，我会接受。

标签： hadoop mapreduce

【解决方案1】：

tasktracker 似乎不见了。

试试：

hadoop tasktracker &

【讨论】：

【解决方案2】：

在 Hadoop 2.x 中，这个问题可能与内存问题有关，您可以在 MapReduce in Hadoop 2.2.0 not working 中看到它

【讨论】：

【解决方案3】：

我遇到了同样的问题，这个页面帮助了我： http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/

基本上，我使用以下 3 个步骤解决了我的问题。事实上，我必须配置更多我真正拥有的内存。

1) 纱线站点.xml

yarn.resourcemanager.hostname = hostname_of_the_master
yarn.nodemanager.resource.memory-mb = 4000
yarn.nodemanager.resource.cpu-vcores = 2
yarn.scheduler.minimum-allocation-mb = 4000

2) mapred-site.xml

yarn.app.mapreduce.am.resource.mb = 4000
yarn.app.mapreduce.am.command-opts = -Xmx3768m
mapreduce.map.cpu.vcores = 2
mapreduce.reduce.cpu.vcores = 2

3) 跨所有节点发送这些文件

【讨论】：

对于第 3 步：我该怎么做？
只需使用“scp”命令将文件从一个节点复制到其他节点

【解决方案4】：

hadoop tasktracker & 和任何其他问题除外。请检查您的代码并确保没有infinite loop 或任何其他错误。也许您的代码中存在一些错误！

【讨论】：

【解决方案5】：

如果在使用 Hive 查询时出现此问题，请检查您是否在不利用分区的情况下连接两个非常大的表。不使用分区可能会导致长时间运行的全表扫描，因此卡在 map 0% reduce 0%。

【讨论】：

如何跟踪状态？
查看提供的问题和日志，您会找到该行。 13/08/29 16:12:36 INFO mapred.JobClient: map 0% reduce 0%