【发布时间】：2012-05-13 13:14:11
【问题描述】：
我需要在我的 Mac 中以 Hadoop 本地模式对一些 Hadoop MR 代码进行原型设计，我想听听可能存在的一些问题。
一个特殊的问题是关于映射器和缩减器的数量。基本上两者都是一个？指定超过 1 会起作用吗？我将使用较小的样本。
【问题讨论】：
【发布时间】：2012-05-13 13:14:11
【问题描述】：
本地模式下不能指定mapper和reducer的个数。它始终是单线程的。同时，如果您想分析您的映射器或减速器的性能 - 这将是非常现实的。
当所有守护进程都在单台机器上运行时，可以有许多映射器和减速器的最近模式是伪分布式模式。
以上两者都不会考虑数据局部性、洗牌性能可能存在的问题。我也不希望您的开发机器与生产机器具有相同的磁盘子系统。.
简而言之-如果您在本地模式下的单个映射器/减速器性能较低-您可以开始修复它。如果它运行良好 - 在规划集群之前尝试真正的硬件。
【讨论】：