【发布时间】：2020-05-02 00:23:22
【问题描述】：
嗨，谁能解释一下什么是 HDFS master（Namenode 负责？还有 HDFS 中的 Namenode 和 Datanode 元数据到底是什么。我最近开始学习 SPARK，但我们的讲座对 HDFS 来说不够深入。非常感谢
【问题讨论】：
标签： hdfs
【发布时间】：2020-05-02 00:23:22
【问题描述】：
HDFS 具有主/从架构。 HDFS 集群由单个 NameNode 组成，这是一个管理文件系统命名空间并控制客户端对文件的访问的主服务器。此外，还有许多 DataNode，通常集群中的每个节点一个，它们管理连接到它们运行的节点的存储。 HDFS 公开了一个文件系统命名空间，并允许将用户数据存储在文件中。在内部，一个文件被分成一个或多个块，这些块存储在一组 DataNode 中。 NameNode 执行文件系统命名空间操作，例如打开、关闭和重命名文件和目录。它还确定块到 DataNode 的映射。 DataNode 负责处理来自文件系统客户端的读取和写入请求。 DataNode 还根据 NameNode 的指令执行块创建、删除和复制。
https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html#NameNode+and+DataNodes
https://www.edureka.co/blog/apache-hadoop-hdfs-architecture/
【讨论】：