Yarn 显示的资源比集群拥有的更多

【问题标题】：Yarn shows more resources than cluster haveYarn 显示的资源比集群拥有的更多
【发布时间】：2017-02-16 10:17:08
【问题描述】：

我用 3 个 m3.xlarge 实例（1 个主实例和 2 个从属实例）启动了一个 EMR 集群，但遇到了一些问题。

根据 aws 文档，m3.xlarge 实例有 4 个 vcpu (https://aws.amazon.com/ec2/instance-types/)。这是什么意思？这意味着 4 个线程或 4 个内核，每个内核 2 个线程？我问你，因为当我打开 hadoop UI（端口 8088）时，每个实例似乎有 8 个可用的 vcore，但根据我的经验，集群的行为就像一个 2 个实例，每个实例有 4 个 vcore。我错了吗？还是来自 Amazon 或 yarn 的 bug？

【问题讨论】：

标签： apache-spark hadoop-yarn

【解决方案1】：

8 vcores 的值来自默认的 Yarn 属性

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
    <description>Number of vcores that can be allocated for containers. This is used by the RM scheduler when allocating resources for containers. This is not used to limit the number of physical cores used by YARN containers.</description>
</property>

虽然它被定义为比实例中的实际 vcore 数量更高的值，但容器将根据每个 nodemanager 实例实际可用的 vcore 数量创建。

根据实例vcores修改yarn-site.xml中该属性的值。

【讨论】：