【问题标题】:a confusion about nodemanager and app master roles in yarn关于 yarn 中的 nodemanager 和 app master 角色的混淆
【发布时间】:2016-09-30 01:23:38
【问题描述】:

谁能解释一下YARN中节点管理器和app master的作用。
根据我的阅读,节点管理器负责在节点中启动和跟踪任务,而应用程序主控器负责在容器中启动任务并与资源管理器协商资源。
我不确定这些信息是否正确,如果我错了,请纠正我。
提前谢谢你

【问题讨论】:

    标签: hadoop-yarn hadoop2


    【解决方案1】:

    Cloudera 博客有多篇文章对此进行了解释。请参考以下链接: https://blog.cloudera.com/blog/2015/09/untangling-apache-hadoop-yarn-part-1/

    【讨论】:

    • 一篇很好的文章,谢谢。有一件事我不太明白,他们在文章中说NodeManager is a worker daemon that launches and tracks processes他们在谈论什么样的过程?
    • NodeManager 主要限于管理抽象容器,即仅处理与容器对应的进程,而不涉及每个应用程序的状态管理,如 MapReduce 任务。它包括与 ResourceManager (RM) 保持同步,监督容器的生命周期管理;监控各个容器的资源使用情况(内存、CPU)、跟踪节点健康、日志管理和辅助服务,这些服务可能会被不同的 YARN 应用程序利用。
    【解决方案2】:

    每个应用程序的 ApplicationMaster 实际上是一个特定于框架的库,其任务是从 ResourceManager 协商资源并与 NodeManager(s) 一起执行和监视任务。

    查看link了解更多详情。

    【讨论】:

      猜你喜欢
      • 2012-06-15
      • 1970-01-01
      • 1970-01-01
      • 2014-12-31
      • 2021-06-19
      • 2011-04-11
      • 2017-09-12
      • 2016-04-24
      • 1970-01-01
      相关资源
      最近更新 更多