一、工作机制

1、原理

NameNode元数据储存在内存中,存在断电及消失的特性,因此产生磁盘备份元数据FsImage,但是当NameNode元数据更新时,若要时刻备份元数据到FsImage,效率会低下,因此使用Edites文件,当元数据更新时,对Edits文件进行追加操作,当发生断电时,FsImage和Edits的内容等于断电器内存中的元数据。

一直向Edits文件追加操作记录,会导致,追加效率变低,合并FsImage时间变长,因此产生2NN来管理操作

2、2NN的作用

负责FsImage和Edits文件合并成新的FsImage

流程:

1)、请求是否需要CheckPoint,执行CheckPoint的条件(a、定时时间到;b、Edits数据满了)

2)、执行CheckPoint,将Edits文件,切割

3)、将切割后的文件和FsImage,拷贝到Secondary NameNode,合并到内存

4)、将内存生成新的FsImage -> NameNode,并重命名

 

相关文章:

  • 2022-12-23
  • 2021-08-24
  • 2022-02-12
  • 2021-07-12
  • 2021-07-28
  • 2021-07-25
  • 2021-08-27
  • 2021-12-23
猜你喜欢
  • 2021-07-13
  • 2021-11-26
  • 2021-07-21
  • 2021-10-31
  • 2021-07-29
  • 2021-12-04
  • 2021-07-19
相关资源
相似解决方案