Hadoop Map Reduce - Reducer 数量答案

【问题标题】：Hadoop Map Reduce - Number of ReducerHadoop Map Reduce - Reducer 数量
【发布时间】：2016-10-25 05:17:44
【问题描述】：

我有一个包含不同年龄段公司员工数据的用例。我需要找到三个年龄段的男性和女性员工的最高工资。

详情请看以下链接 -

我的问题是 - 这里我们只有两个由映射器发出的键，即男性和女性。我们在驱动类中设置了 3 个 reducer，因此将创建 3 个分区。

下面可能有两件事 -

【问题讨论】：

你到底想要什么？？
运行时会创建多少个reducer？它会一次创建每个分区器的 3 个减速器和服务器数据并处理输出还是只处理 2 个减速器，因为映射器只有两个键。
这不是大约 24 小时内第三次被问到这个问题吗？ stackoverflow.com/questions/37972288/… 和 stackoverflow.com/questions/37983319/number-of-reducer

【解决方案1】：

如果你想知道reducer的真实数量，你最好在集群上运行它。

如Number of reducer in map reduce 中所说，它将启动 3 个 reducer，1 个 reducer 将不处理任何数据。如果你想使用所有三个 reducer，你可以更改 Partioner 类，比如按年龄组分区数据

【讨论】：