【问题标题】:Yarn NodeManager and ResourceManager in the same nodeYarn NodeManager 和 ResourceManager 在同一个节点
【发布时间】:2013-07-27 01:13:48
【问题描述】:

(默认情况下)Hadoop Yarn 中是否有与“资源管理器”相同的节点中的“节点管理器”? 如果没有,是否可以在同一个节点上运行它们?

【问题讨论】:

    标签: hadoop resourcemanager hadoop-yarn mrv2


    【解决方案1】:

    取决于您是否要在 RM 节点上运行其他容器(用于 ApplicationMasters 或任务)。如果您希望您的 RM 节点仅用于资源管理、调度等,则不要在 RM 节点上启动 NM。如果您认为 RM 节点上有空闲的 cpu/mem/disk(尤其是对于小型集群,或者要调度的作业很少的集群),那么在 RM 节点上运行 NM。

    【讨论】:

      【解决方案2】:

      脚本 sbin/start-yarn.sh 就是这样做的

      #启动资源管理器

      "$bin"/yarn-daemon.sh --config $YARN_CONF_DIR 启动资源管理器

      #启动节点管理器

      "$bin"/yarn-daemons.sh --config $YARN_CONF_DIR 启动节点管理器

      在yarn-site.xml中你可以设置资源管理器和节点管理器的IP:PORT

      yarn.resourcemanager.address

      yarn.nodemanager.address

      节点管理器是定位资源管理器的那个(参见http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

      【讨论】:

      • 从您提供的链接看来 RM 和 NM 不在同一个节点中。不把RM和NM放到同一个节点是不是很常见?
      猜你喜欢
      • 2015-12-09
      • 2015-12-20
      • 2013-11-02
      • 2019-07-25
      • 1970-01-01
      • 1970-01-01
      • 2013-04-19
      • 2018-07-24
      • 1970-01-01
      相关资源
      最近更新 更多