具有聚合器功能的 Hadoop 组合器

Question

当使用聚合器函数之一代替减速器时，Hadoop 是否足够聪明以在 combiner 阶段使用相同的函数？

Answer 1

它们实现了部分相同的目的，但聚合器更通用，可以在组合器不能使用的情况下使用。

所以这是肯定的，聚合器不会自动用作组合器。如果您希望将其用作组合器，则必须这样指定它。

来自级联的引用，“Combiners are limited to Associative and Commutative functions only, like 'sum' and 'max'. And in order to work, values emitted from the Map task must be serialized, sorted (deserialized and compared), deserialized again and operated on”