EMR hadoop (MRv2) 集群最大容量为 80%。如何获得剩余的20％？答案

【问题标题】：EMR hadoop (MRv2) cluster is maxed at 80% capacity. How to get remaining 20%?EMR hadoop (MRv2) 集群最大容量为 80%。如何获得剩余的20％？
【发布时间】：2015-01-07 22:30:25
【问题描述】：

我在 AWS 上使用 Elastic MapReduce（Hadoop 2.0 和 YARN）。

配置如下：

10 x g2.2xlarge core instances with 15GB of RAM and 8 CPU cores
yarn.nodemanager.vmem-check-enabled=false 
yarn.scheduler.minimum-allocation-mb=2048
yarn.nodemanager.resource.memory-mb=12288
mapreduce.map.memory.mb=3072

在运行作业时，调度程序显示只有 81.7% 的集群被分配：

已用容量：81.7% 绝对使用容量：81.7% 绝对容量：100.0% 绝对最大容量：100.0% 使用的资源：可调度应用数：1 Num 不可调度的应用程序：0 容器数量：25 最大应用程序：10000 每个用户的最大应用程序数：10000 最大可调度应用程序：6 每个用户的最大可调度应用程序：6 配置容量：100.0% 配置最大容量：100.0% 配置的最小用户限制百分比：100% 配置的用户限制因子：1.0 活跃用户：hadoop

调度程序为每个节点分配最多 3 个容器，容器总数上限为 25 个。

为什么只分配 25 个容器？

从我希望看到的内存设置

yarn.nodemanager.resource.memory-mb(12288) / mapreduce.map.memory.mb(3072) = 4 containers per node

谢谢

附：这看起来像一个类似的问题，但没有回答 How concurrent # mappers and # reducers are calculated in Hadoop 2 + YARN?

【问题讨论】：

如何在 AWS 上设置 yarn.nodemanager.vmem-check-enabled？您是如何转储集群利用率指标的？

标签： hadoop hadoop-yarn emr

【解决方案1】：

我在通过this tutorial 之后让它工作了。

2 件事发生了变化：

mapreduce.map.memory.mb 有错字
mapreduce.map.java.opts 默认设置太低

对我有用的最终设置是：

yarn.nodemanager.vmem-pmem-ratio=50
yarn.nodemanager.resource.memory-mb=12288
yarn.scheduler.minimum-allocation-mb=3057
yarn.app.mapreduce.am.resource.mb=6114
mapreduce.map.java.opts: -Xmx2751m
mapreduce.map.memory.mb: 3057

现在它为每个节点完全分配了 4 个容器。

【讨论】：