减速器可以动态地使用多个节点吗？

Question

在为 MapReduce 作业编写代码时，如果我们手动设置 reducer 的数量，则发送到某个 reducer 的数据可能很大。在这种情况下，reducer 任务可以同时在多个节点上运行吗？也许是通过将List<Value>中的数据与一个键对应，然后在内部合并？

如果 reducer 不能自动缩放它要使用的节点数量，那么我们如何处理可能存在与键对应的值分布不均的情况？ default hadoop MapReduce partitioner根据hash的值进行分区，并没有考虑到key对应的List<Value>的大小。

Answer 1

不，reducer 不会自动缩放。如果它的工作量太大，它就会崩溃。

您能做的最好的事情（可能）是编写您自己的自定义分区器，在减速器之间平均分配工作负载。这样做并不总是那么容易，因为您可能必须对数据进行采样或估计，甚至是额外的计数工作，并编写一个体面的负载平衡算法来满足您的问题需求。

您想要的可能不是基于每个键的值的大小来分配负载，而是基于 reducer 将执行的计算（这两个并不总是相同的）。