Hadoop中的节点数答案

【问题标题】：Number of nodes in HadoopHadoop中的节点数
【发布时间】：2016-12-23 01:11:36
【问题描述】：

我目前阅读了关于 Hadoop 使用的next tutorial。我特别感兴趣的是集群中的节点数量。我现在有两台机器：主机有 4 个 cpu，从机有 32 个 cpu。在Multinode Cluster in Hadoop 2.x 章节中，节点的最终结果只是 2。这是否意味着 HDFS 集群正在使用两台机器，我怎么知道所有 36 个 cpu（4 个来自 master + 32 个来自 slave）都在使用？

【问题讨论】：

是的，物理机器将是 2 台，但是当您启动应用程序时，您可以看到超过 2 台 YARN childs 并行，根据 YARN 容器的最小内核和内存。

标签： hadoop

【解决方案1】：

Hadoop 平台具有了解集群资源的 ResourceManager。容器的核心数和可用 RAM 在每个 hadoop 节点上的 yarn 中配置。

当您提交 map-reduce 作业时，ApplicationMaster 会向 ResourceManager 询问可用资源。基于此，它将并行启动尽可能多的映射器/减速器。

您还可以在应用程序 UI 中查看有多少资源可用以及特定作业使用了多少资源。

【讨论】：