如何增加 Yarn UI 上显示的“内存总量”？答案

【问题标题】：How to increase the "memory total" that display on Yarn UI?如何增加 Yarn UI 上显示的“内存总量”？
【发布时间】：2019-10-08 11:34:31
【问题描述】：

我在 EMR (emr-5.20.0) 上有一个集群，其中一个 m5.2xlarge 作为 Node Master，两个 m4.large 作为核心，三个 m4.large 作为 node worker。这个集群的内存总和是 62GB，但是在 YARN UI 中显示的总内存是 30GB。

有人可以帮我理解这个值是如何计算的吗？

欢迎任何帮助

【问题讨论】：

【解决方案1】：

YARN 中的内存设置可以使用以下集群参数进行配置：

yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.increment-allocation-mb
yarn.scheduler.maximum-allocation-mb

我调整这些参数可以增加/减少分配给集群的总内存。

【讨论】：

但是这些参数是按照AWS推荐配置的。我尝试修改一些值，如 yarn.nodemanager.resource.memory-mb 并重新启动 hadoop-yarn-resourcemanager 但总内存的值没有改变.我做错了吗？
不确定 AWS。我有 Hadoop 的 cloudera 发行版以及 Spark2 服务。当我更改这些参数时，与内存相关的更改会反映在 YARN 的资源管理器 UI 中。

【解决方案2】：

Yarn 的可用内存/内核中不包含主节点。

所以你应该得到大约 5 x 8GB (m4.large)。你得到的会比这个少，因为操作系统和服务还有内存开销。

【讨论】：