Hadoop 未使用可用内存答案

【问题标题】：Hadoop not utilizing available memoryHadoop 未使用可用内存
【发布时间】：2015-10-24 10:47:31
【问题描述】：

我有一个 2 节点集群（每个节点有 32 GB RAM 和 8 个核心）。我已经安装了 CDH 5.4。但我不认为 hadoop 正在使用可用内存，因为页面：8088/cluster/apps 在“内存总计”列中仅显示 16 GB。只有一次我可以看到“内存总量”为 64GB，不知道发生了什么。可能是什么原因？

谢谢，巴胡

【问题讨论】：

您安装的是 64 位还是 32 位操作系统？你能检查并确认回来吗？

标签： hadoop hadoop-yarn cloudera-cdh

【解决方案1】：

您必须为纱线配置每个节点可使用的内存。此设置位于 yarn-site.xml 中。有一些属性可以控制节点管理器中可以为容器分配分配的最大内存。好像您使用的值是 8GB（默认值）。将以下属性设置为更高的值。

yarn.nodemanager.resource.memory-mb

同理，还有一个属性

yarn.nodemanager.resource.cpu-vcores.

在所有节点的yarn-site.xml中设置好这些属性后，重启yarn集群。这将增加节点管理器的内存共享。除此之外，还有几个属性可以调整集群。更多详情，请访问url

【讨论】：

砰！你是对的。出于某种原因，我认为这个参数是基于每个容器的，并没有费心去改变它。一旦我将它设置为 32GB，我也可以在 GUI 中看到它的反映。
这 2 种配置，如果未配置，将分别使用默认的 8gb 和 8 个 vcore，而不管每个节点上实际可用的内容。因此，您应该正确配置这些设置以充分利用集群。
命中目标！剩余内存由磁盘缓存使用。
我有一台 4 核 16 GB 的机器。系统监视器或顶部命令显示总使用内存为 9.x GB yarn.nodemanager.resource.memory-mb 即Container Memory，则没有效果。