Mapper vs Reducer 计算时间和对网络性能的影响 Hadoop

Question

我必须从 n 个候选者的列表中生成 n*(n-1)/2 个候选对。

这可以在每个 mapper 实例或每个 reducer 实例中完成。

但是我观察到，当这个操作在 Reduce 阶段完成时，它比在 Map 阶段完成的要快得多。是什么原因？

Mappers 能否不支持繁重的计算？

Mapper 实例进行这样的计算对网络有什么影响？

谢谢！

Answer 1

简短的回答是：当使用mapper生成数据时，Hadoop必须将数据从mapper复制到redcuer，这花费了太多时间。

结果总数据大小

生成的总数据为O(n^2)。

mapper VS reducer 生成数据对比

如果您使用映射器生成n*(n-1)/2 对，则必须将中间数据复制到reducer。 Hadoop 中的这一步被命名为 Shuffle Phase。而reducer 仍然需要将这些数据放到HDFS 中。 shuffle阶段你的事业中从Harddisk读/写的数据总量可以是6* sizeof(intermediate data)，非常大。

而如果数据是由reducer生成的，则不需要O(n^2)中间数据转换。所以它可以有更好的性能。

所以您的性能问题主要是由数据转换引起的，而不是计算引起的。如果没有磁盘访问，mapper 和 reducer 的性能是一样的。

提高映射器数据生成策略性能的方法

如果你还想用mapper生成数据，可能是io.sort.factor，开启压缩可能有助于提升性能。