【问题标题】:Understanding mapreduce.framework.name wrt Hadoop了解 mapreduce.framework.name wrt Hadoop
【发布时间】:2018-03-05 18:15:41
【问题描述】:

我正在学习 Hadoop,并了解到该框架有两个版本,即:Hadoop1 和 Hadoop2。

如果我的理解是正确的,在 Hadoop1 中,执行环境基于两个守护进程,即 TaskTrackerJobTracker,而在 Hadoop2(又名 yarn)中,执行环境基于“新的守护进程”即ResourceManagerNodeManagerApplicationMaster

如果不正确,请纠正我。

我了解到以下配置参数:

mapreduce.framework.name
它可以采用的可能值:localclassicyarn

我不明白它们实际上是什么意思;例如,如果我安装 Hadoop 2 ,那么它怎么会有旧的执行环境(有TaskTrackerJobTracker)。

谁能帮我看看这些值是什么意思?

【问题讨论】:

  • 围绕查询添加了一些细节,希望对您有所帮助。

标签: hadoop mapreduce hadoop-yarn hadoop2 mrv2


【解决方案1】:
  • yarn代表MR版本2。
  • classic 适用于 MR 版本 1
  • local 用于 MR 作业的本地运行。

MR V1 和 MR V2 只是关于如何管理资源和执行作业。当前的 hadoop 版本能够同时具备这两种功能(甚至在本地轻量级模式下)。当您将值设置为yarn 时,您只是在指示框架使用yarn 方式执行作业。类似地,当您将其设置为local 时,您只是告诉框架没有要执行的集群,并且所有集群都在 JVM 中。对于 MR V1 和 MR V2 框架,它不是不同的基础架构;它只是作业执行的方式,会发生变化。

jobTrackerTaskTracker 等都只是守护线程,在需要时产生并杀死。

MRv1 使用JobTracker 创建任务并将其分配给数据节点。这在处理大型集群时被发现效率太低,导致yarn

MRv2(又名YARN,“Yet Another Resource Negotiator”)为每个集群都有一个资源管理器,每个数据节点都运行一个节点管理器。对于每个作业,一个从节点将充当Application Master,监控资源/任务等。

本地模式用于在单个机器/JVM 中模拟和调试 MR 应用程序。

编辑:基于 cmets

jps(Java Virtual Machine Process Status)是一个JVM工具,根据official page

jps 工具列出了检测的 HotSpot Java 虚拟机 (JVM)在目标系统上。该工具仅限于报告 其拥有访问权限的 JVM 的信息。

所以,

  1. jps不是一个大数据工具,而是一个讲述 JVM 的 java 工具,但是它不会泄露任何关于在 JVM 中运行的进程的信息。

  2. 它只列出 JVM,它可以访问。这意味着仍有某些 JVM 未被检测到。

记住以上几点,如果您观察到 jsp 命令根据 hadoop 部署模式发出不同的结果:

  1. 本地(或独立)模式:没有守护进程,一切都在单个 JVM 上运行。
  2. 伪分布式模式:每个守护进程(Namenode、Datanode 等)在单个主机上的自己的 JVM 上运行。
  3. 分布式模式:每个守护进程在其自己的 JVM 上跨主机集群运行。

因此每个进程可能会或可能不会在同一个 JVM 中运行,因此jps 的输出会有所不同。

现在在分布式模式下,MR v2 框架在默认模式下工作。即yarn;因此您会看到特定于纱线的守护进程正在运行

Namenode
Datanode
ResourceManager
NodeManager

Apache Hadoop 1.x (MRv1) 包含以下守护进程:

Namenode
Datanode
Jobtracker
Tasktracker

请注意,NameNodeDataNode 在两者之间是通用的,因为它们是 HDFS 特定的守护进程,而其他两个是 MR v1yarn 特定的。

【讨论】:

  • 感谢您的回答。我明白了你的意思,但我仍然无法理解我们如何“仅仅”以 YARN 方式(我们有不同的守护进程)或经典方式(我们有 JT 和 TT)运行;当我们做 jps 时,我们会看到 NM、RM 等。我仍然有这个疑问。你能帮忙理解一下吗?
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-07-16
  • 2019-04-10
  • 1970-01-01
  • 2013-05-14
  • 2013-08-23
  • 1970-01-01
相关资源
最近更新 更多