Hadoop：将slave设置为显式reducer？答案

【问题标题】：Hadoop: Set slave as explicit reducer?Hadoop：将slave设置为显式reducer？
【发布时间】：2011-09-07 14:54:22
【问题描述】：

我们在 debian + ubuntu 上使用 hadoop 多节点设置和最新的稳定 hadoop 版本。是否可以将特定的从站设置为减速器？我只使用一个减速器任务，我想将它分配给性能最高的奴隶。 atm 我们有1个master，他只是将任务分配给slave和5个slave，一个比其他的更强大。

提前致谢

【问题讨论】：

【解决方案1】：

通过在所有conf/mapred-site.xml 文件中将mapred.tasktracker.reduce.tasks.maximum 设置为0 来禁用所有其他节点上的reducer 插槽（您要减少的一个节点除外）。

或者，您可以为 Fair Scheduler 编写一个自定义 LoadManager 类（请参阅this），但这需要更多的工作。

【讨论】：