【发布时间】:2013-07-27 01:13:48
【问题描述】:
(默认情况下)Hadoop Yarn 中是否有与“资源管理器”相同的节点中的“节点管理器”? 如果没有,是否可以在同一个节点上运行它们?
【问题讨论】:
标签: hadoop resourcemanager hadoop-yarn mrv2
(默认情况下)Hadoop Yarn 中是否有与“资源管理器”相同的节点中的“节点管理器”? 如果没有,是否可以在同一个节点上运行它们?
【问题讨论】:
标签: hadoop resourcemanager hadoop-yarn mrv2
取决于您是否要在 RM 节点上运行其他容器(用于 ApplicationMasters 或任务)。如果您希望您的 RM 节点仅用于资源管理、调度等,则不要在 RM 节点上启动 NM。如果您认为 RM 节点上有空闲的 cpu/mem/disk(尤其是对于小型集群,或者要调度的作业很少的集群),那么在 RM 节点上运行 NM。
【讨论】:
脚本 sbin/start-yarn.sh 就是这样做的
#启动资源管理器
"$bin"/yarn-daemon.sh --config $YARN_CONF_DIR 启动资源管理器
#启动节点管理器
"$bin"/yarn-daemons.sh --config $YARN_CONF_DIR 启动节点管理器
在yarn-site.xml中你可以设置资源管理器和节点管理器的IP:PORT
yarn.resourcemanager.address
yarn.nodemanager.address
节点管理器是定位资源管理器的那个(参见http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html)
【讨论】: