异构集群中的 Hadoop MapReduce2 优化

Question

我有这个配置：

• Hadoop：v2.7.1（纱线）
• 输入文件：大小 = 100 GB。
• 3 个从站：每个从站有 4 个 VCORES，速度 = 2 GHz，RAM = 8 GB
• 5 个从站：每个从站有 2 个 VCORES，速度 = 1 GHz，RAM = 2 GB
• MapReduce 程序：WordCount

如何通过将较小的输入拆分分配给 5 个较慢的从属并将较大的输入拆分分配给 3 个最快的从属，从而最大限度地减少 WordCount 执行时间？

Answer 1

对于每台机器，您可以确定 map/reduce 插槽的数量，因此如果您想向速度较慢的机器发送更少的工作负载，您可以定义，例如每台较慢的机器有 2 个 map/reduce 任务插槽和 4 个 map/reduce 任务每个快速机器的插槽。通过这种方式，您可以控制集群中每个不同节点接收的工作负载量。