前提:不使用SNN,日志文件会很大,日志大会导致集群恢复到上次关机前的状态花费很长时间,这个时候集群处于 安全模式,集群不可用。长时间处于安全模式。

目标:加快集群二次启动的速度。(减少集群二次启动的时间)

SecondaryNamenode周期性复制NameNode的FSIMAGE 和edits到本机(SecondaryNamenode本机),将两个 文件进行合并,最终生成全新的Fsimage,将最新的Fsimage发送回Namenode 。

意义:辅助NameNode合并Fsimage Edits.减小了日志的大小,加快了集群的二次启动速度。

Review SecondaryNamenode工作原理

SecondaryNamenode自己独立部署在有一个节点上。此节点的配置要与NameNode相同。

 

什么时候进行文件拷贝合并

1 dfs.namenode.checkpoint.period :3600 默认情况下 一小时合并一次

2、dfs.namenode.checkpoint.txns :1000000 100W次集群操作,进行一次合并

相关文章:

  • 2022-12-23
  • 2021-11-12
  • 2021-09-01
  • 2022-01-01
  • 2021-05-05
  • 2021-12-01
  • 2021-12-10
猜你喜欢
  • 2021-05-23
  • 2021-08-08
  • 2022-01-06
  • 2022-01-11
  • 2021-10-16
  • 2021-12-19
  • 2022-02-12
相关资源
相似解决方案