Normal MapReduce Job 和 Sequential MapReduce Job 之间有什么区别和相似之处？答案

【问题标题】：What is the difference and similarity between Normal MapReduce Job and a Sequential MapReduce Job?Normal MapReduce Job 和 Sequential MapReduce Job 之间有什么区别和相似之处？
【发布时间】：2014-05-22 05:18:43
【问题描述】：

当我们执行正常的字数统计作业时，我们使用 MapReduce 程序来执行此操作。它不是顺序的。但是对于像大图的最短路径分析这样的程序，我们必须设计一个“顺序”的 MapReduce 作业。这两种 MapReduce 编程方法的基本区别或相似之处是什么。

【问题讨论】：

标签： java hadoop mapreduce sequential

【解决方案1】：

正如您提到的，您的字数统计工作不是连续的，我想您正在使用示例字数统计作业，其中键（单词）在 map 阶段划分，在 reduce 阶段处理（计数）。因此，任务可以在不同的节点中拆分并同时执行。

我建议您阅读本教程：https://developer.yahoo.com/hadoop/tutorial/module4.html 这样您就可以意识到，即使在 Map 阶段，任务也会根据可用节点的数量进行分配！

关于您的“顺序” MapReduce 作业。我假设你的意思是没有办法划分处理来达到预期的结果。如果是这种情况，我怀疑您不会从 Hadoop MapReduce 框架中获得最佳结果，因为您的 reduce 阶段必须发生在单个节点中。但是，如果您进行快速搜索，我相信您将能够找到用于图形处理的算法，例如为 MapReduce 设计的 Dijkstra。

干杯马可

【讨论】：