Hadoop 中 Namenode 的内存答案

【问题标题】：Memory for Namenode(s) in HadoopHadoop 中 Namenode 的内存
【发布时间】：2019-11-16 14:28:22
【问题描述】：

环境：生产集群有 2 个名称节点（即活动和备用），节点是 Raid-1 配置中的 SAS 驱动器。这些节点除了运行在每个节点上的主服务（NN 和备用 NN）外，什么都没有。它们有 256GB 的 RAM，而数据节点（大部分处理发生的地方）设置为只有 128GB。

我的问题：为什么 Hadoop 的主节点具有如此高的 RAM，而当大部分处理都在数据可用的地方完成时，为什么 Datanodes 没有。？

附：根据 hadoop thumb 规则，我们每 100 万个文件只需要 1GB。

【问题讨论】：

【解决方案1】：

Namenode 将来自所有数据节点的所有文件引用存储在内存中。

datanode 进程不需要太多内存，它是 YARN NodeManagers 做的

【讨论】：