MapReduce与分而治之的关系

Question

Map Reduce 是真正的分而治之吗？有些人说是，有些人说不是，这是一个流水线。

您如何看待以下问题：

它们密切相关，但其中一个可能是另一个的特例：

Map Reduce 涉及一个 reduce 过程，这在分而治之中不是强制性的 我们可以说 Map Reduce 是分治法的一个特例，它涉及一个 reduce 阶段。 其他无需归约的分而治之问题（例如二进制搜索）是具有虚拟/琐碎归约过程的 Map Reduce。

Answer 1

我认为不应该这样理解。是的，Mar-Reduce 更多的是关于隔离和聚合。可以编写一个 map-reduce 程序，它只运行一个 mapper，它直接输出到 hdfs，而不需要一个 Reducer 来这样做。 此外，映射器的数量取决于数据的大小，而不是数据本身。默认情况下，它每 64MB（大约）有 1 个映射器，但可以设置为更大的数量，然后消除任何数据划分问题。

这个book 很好地讨论了 Map Reduce 的历史，建议更好地理解。