在 Hadoop 2.0 时代，名称节点和数据节点术语仍然有效吗？答案

【问题标题】：In Hadoop 2.0 era are name node and data node terminology still valid?在 Hadoop 2.0 时代，名称节点和数据节点术语仍然有效吗？
【发布时间】：2017-03-31 09:07:15
【问题描述】：

Hadoop 2.0 引入了 YARN，它取代了 Job Tracker 和 Task Tracker 的任务。 YARN 由资源管理器（调度器、应用程序管理器...）、节点管理器和应用程序主控器组成。

数据节点和名称节点的术语在hadoop 2.0 环境中是否仍然存在。如果他们做什么，他们的意思是什么，这些节点的功能是什么以及谁来管理它们。加上任何其他有用的信息，请随时添加。

（ps：可能数据节点和名称节点只是 HDFS 的一部分，它们与由 YARN 处理的作业处理直接无关。）

【问题讨论】：

标签： hadoop hdfs hadoop-yarn hadoop2 bigdata

【解决方案1】：

是的，正如您所说，名称节点和数据节点与hadoop（HDFS）的存储层有关，而不是与处理层（Map Reduce/Yarn）有关。名称节点和数据节点采用主/从架构，其中名称节点是主节点，数据节点是从节点。总而言之，它们的功能是：

名称节点：存储文件系统的所有元数据，包括文件名、位置、权限、大小、文件到块的映射、可用块。
数据节点：它们是负责数据本身的组件。

因此，当您将数据加载到 hadoop 时，它将存储在数据节点中，并且相应的元数据（文件名、位置、权限、创建日期等）将在名称节点的内存中存储和索引。

【讨论】：

【解决方案2】：

几乎有些人可能称他们为大师/工人。简而言之，Name 节点负责管理文件系统命名空间（通过 EditLog 和 FsImage 的元数据）并规范客户端对文件的访问。客户端在写入文件（写入位置，块大小）时联系名称节点，但将它们直接写入数据节点。数据节点实际上将数据存储在本地。 http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

并且有可用的名称节点 HA 功能，其中有 Active-hot 备用支持并且故障转移是无缝的（还有 Resource Manager HA）。

【讨论】：