【问题标题】:How hadoop YARN memory and core works?hadoop YARN 内存和内核是如何工作的?
【发布时间】:2015-03-11 03:30:18
【问题描述】:

之前,我读过关于在集群上设置的 hadoop YARN 内存和核心参数。但是,我仍然不清楚那个参数。还有关于容器。 1 个节点上只有 1 个容器或更多?并且在 1 个集群上只有 1 个 Application Master 或更多?

帮助我了解 YARN 上的容器、应用程序主控、内存和核心工作,

谢谢大家.....

【问题讨论】:

    标签: hadoop frameworks mapreduce hadoop-yarn hadoop2


    【解决方案1】:

    上图来自apache YARN web site。它对内部细节和功能给出了清晰的解释。

    我们在 /conf 中的 yarn-site.xml 中设置了 YARN 的参数。

    属性 yarn.nodemanager.resource.memory-mb 可用于设置 YARN 在节点上可以使用的最大 RAM 量。

    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value> 
    

    property yarn.scheduler.minimum-allocation-mb 可用于设置容器的最小内存量。例如,如果我们有 16 GB 内存并且 yarn.nodemanager.resource.memory-mb 是 4GB 。所以我们有 12 GB 剩余空间,每个容器至少分配 2GB 空间,因此我们最多可以有 6 个容器。

    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2048</value>
    

    从架构中您可以清楚地看到我们将拥有多个应用程序主控。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2014-07-23
      • 1970-01-01
      • 2015-07-14
      • 2015-07-22
      • 1970-01-01
      • 2016-04-06
      • 1970-01-01
      相关资源
      最近更新 更多