【问题标题】:YARN components纱线组件
【发布时间】:2013-12-20 03:51:16
【问题描述】:

什么是

  1. 节点管理器
  2. 容器
  3. 应用大师

在 YARN 中(Map Reduce 2.0)?

https://hadoop.apache.org/docs/current2/hadoop-yarn/hadoop-yarn-site/YARN.html

也想知道为什么上面链接图的底框里没有应用程序主控?

我不是在寻找它的作用,而是它是什么! (like => 不确定容器是指 spring 容器(即 jar 文件列表?)还是它的服务器,比如 web 服务器?应用程序主控是指简单的 Java 类吗?)

【问题讨论】:

    标签: hadoop mapreduce hdfs hadoop-yarn


    【解决方案1】:

    节点管理器是每台机器的框架代理,负责启动应用程序的容器、监控它们的资源使用情况(cpu、内存、磁盘、网络)并将其报告给调度程序。

    容器是一个抽象概念,它包含了内存、cpu、磁盘、网络等元素——来自MapReduce_NextGen_Architecture。它可以被视为一个可序列化的Java对象,包括以下信息

    message ContainerProto {
    optional ContainerIdProto id = 1;
    optional NodeIdProto nodeId = 2;
    optional string node_http_address = 3;
    optional ResourceProto resource = 4;
    optional PriorityProto priority = 5;
    optional hadoop.common.TokenProto container_token = 6;
    } 
    

    MapReduce 作业的应用程序主机是一个 Java 应用程序,其主类是 MRAppMaster - 来自“Hadoop - The Definitive Guide”

    【讨论】:

    • 感谢您的信息,您能否详细说明节点管理器?框架代理是什么意思?当您说调度程序意味着资源管理器时?
    • 调度器是资源管理器的一部分。请在我在答案中发布的链接中查看更多解释。
    【解决方案2】:

    容器是指每个节点上的捆绑或一组资源,如 RAM、CPU、磁盘、网络等。

    NodeManager 类似于 Hadoop 1.x 中的 Tasktracker,它是 Mapreduce 的 Hadoop Cluster 的从节点。

    ApplicationMaster 是每个应用程序主控,它监控作业生命周期并与 ResourceManager(与 Hadoop 1.x 中的 JobTracker 相同)协商资源。

    在 Hadoop 2.0(YARN) 中,Jobtracker 的角色分为两部分。

    1. 全球资源管理器。
    2. 每个应用程序一个 ApplicationMaster。

    每个节点从属节点是 NodeManger。

    NodeManager 在 ResourceManager 和 ApplicationMaster 的帮助下启动容器以运行 Map 和 Reduce 任务。

    在 Hadoop 2.x 中,Jobtarcker 和 Tasktracker 都已过时。

    【讨论】:

      猜你喜欢
      • 2018-07-18
      • 2021-10-31
      • 1970-01-01
      • 1970-01-01
      • 2020-04-03
      • 2021-11-09
      • 2020-05-27
      • 1970-01-01
      • 2019-08-03
      相关资源
      最近更新 更多