HDFS
1. 如何理解 Hadoop
- 广义上 Hadoop 是指与 Hadoop 相关的大数据生态圈, 包括 hive, spark, hbase 等
- 狭义上 Hadoop 是指 Apache 的开源框架.有三个核心组件:
hdfs: 分布式文件存储系统
yarn: 分布式资源管理调度平台
MR: 分布式计算引擎
2. HDFS 整体架构
-
Client: 客户端
(1) 文件切分
(2) 与 NameNode 交互, 获取文件的位置信息
(3) 与 DataNode 交互, 读取或者写入数据
(4) Client 提供一些命令来管理 HDFS -
NameNode: Master
(1) 管理 HDFS 的名称空间,
(2) 管理数据块的映射信息
(3) 配置副本策略(默认是 3)
(4) 处理客户端读写请求 -
DataNode: Slave
(1) 存储实际的数据块
(2) 执行数据块的读写操作 -
SecondaryNameNode:
(1) 辅助 NameNode, 分担其工作量
(2) 定期合并 Fsimage 和 Edits , 并推送给 NameNode
(3) 在紧急情况下, 可以辅助回复 NameNode
3. HDFS 写数据流程
- 客户端通过
Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。- NameNode返回是否可以上传。
- 客户端请求
第一个 Block上传到哪几个DataNode服务器上。- NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
- 客户端通过
FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。- dn1、dn2、dn3逐级应答客户端。
- 客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以
Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。- 当一个Block传输完成之后，客户端再次
请求NameNode上传第二个Block的服务器。（重复执行3-7步）。
4. HDFS 读数据流程
- 客户端通过
Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。- 挑选
一台DataNode（就近原则，然后随机）服务器，请求读取数据。- DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以
Packet为单位来做校验）。- 客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。
5. HDFS 副本存放机制/机架感知 (写数据时)
- 第一个副本存在在客户端, 如果客户端不在集群内, 就在集群内随机挑选一个合适的节点进行存放
- 第二个副本存在与第一个副本同机架, 且不同节点, 按照一定的规则挑选一个合适的节点进行存放
- 第三个副本存在与第一二副本不同机架且距第一个副本逻辑距离最短的机架, 按照一定的规则挑选一个合适的节点进行存放.
6. HDFS 数据完整性如何保证
- 当DataNode读取Block的时候，它会计算CheckSum。
- 如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。
- Client读取其他DataNode上的Block。
- DataNode在其文件创建后周期验证CheckSum。
7. DataNode 的工作机制
- 一个数据块在DataNode上以
文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。- DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode
上报所有的块信息。心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。- 集群运行中可以安全加入和退出一些机器。
8. HDFS 中大量小文件带来的问题及解决方法
- 问题:
hadoop中目录,文件和块都会以对象的形式保存在namenode的内存中, 大概每个对象会占用150bytes. 小文件数量多会大量占用namenode的内存; 使namenode读取元数据速度变慢, 启动时间延长; 还因为占用内存过大, 导致gc时间增加等. - 解决办法:
(1) 从数据来源入手, 如每小时抽取一次改为每天抽取一次等方法来积累数据量.
(2) 如果小文件无可避免, 一般就采用合并的方式解决. 可以写一个MR任务读取某个目录下的所有小文件, 并重写为一个大文件.