georgeleiyi

1分布式文件系统的理解

    

2hdfs的优缺点

  

hdfs的优点

(1) 高容错性

1) 数据自动保存多个副本。它通过增加副本的形式,提高容错性。

2) 某一个副本丢失以后,它可以自动恢复,这是由 HDFS 内部机制实现的,我们不必关心。

(2) 适合批处理

1) 它是通过移动计算而不是移动数据。

2) 它会把数据位置暴露给计算框架。

(3) 适合大数据处理

1) 数据规模:能够处理数据规模达到 GBTB、甚至PB级别的数据。

2) 文件规模:能够处理百万规模以上的文件数量,数量相当之大。

3) 节点规模:能够处理10K节点的规模。

(4) 流式数据访问

1) 一次写入,多次读取,不能修改,只能追加。

2) 它能保证数据的一致性。

(5) 可构建在廉价机器上

1) 它通过多副本机制,提高可靠性。

2) 它提供了容错和恢复机制。比如某一个副本丢失,可以通过其它副本来恢复。

hdfs的缺点

(1) 不适合低延时数据访问;

1) 比如毫秒级的来存储数据,这是不行的,它做不到。

2) 它适合高吞吐率的场景,就是在某一时间内写入大量的数据。但是它在低延时的情况 下是不行的,比如毫秒级以内读取数据,这样它是很难做到的。

改进策略

(2) 无法高效的对大量小文件进行存储

1) 存储大量小文件的话,它会占用 NameNode大量的内存来存储文件、目录和块信息。这样是不可取的,因为NameNode的内存总是有限的。

2) 小文件存储的寻道时间会超过读取时间,它违反了HDFS的设计目标。 改进策略

(3) 并发写入、文件随机修改

1) 一个文件只能有一个写,不允许多个线程同时写。

2) 仅支持数据 append(追加),不支持文件的随机修改。

 

3hdfs的架构详细剖析

 

数据block块的形式进统一存储管理,每个block块默认最多可以存储128M文件,如果有一个文件大小1KB也是要占用一个block块,但是实际占用磁盘空间还是1KB大小,类似于有一个水桶可以装128,但是我只装了1,那么我的水桶里面水的重量就是1,而不是128

每个block元数据大小大概150字节

1HDFS集群包括,NameNodeDataNode以及Secondary Namenode

2NameNode负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的数据块信息。

3DataNode 负责管理用户的文件数据块,每一个数据块都可以在多个datanode上存储多个副本。

4Secondary NameNode用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。最主要作用是辅助namenode管理元数据信息

NameNodeDatanode的总结概述

 

 

分类:

技术点:

相关文章: