【发布时间】:2015-07-20 18:31:24
【问题描述】:
我想问一下不同的键是否可以在同一个减速器中结束。如果我基于密钥相同的假设构建我的减速器,那将是一种有效的方法。假设每个作业配置的 reducer 数量为 5,并且我从 map 输出中获得的唯一键是 10,理想情况下应该需要 10 个 reducer,相同的 reducer 方法现在将接收 2 个不同类型的键。考虑 Hash partitioning ,这意味着使用较少 reducer 的场景。
【问题讨论】:
-
是的,不同的键可以在同一个reducer中结束。