一:hdfs设计原理

  负载均衡,考虑分布式计算

  -->block机制

二:block默认大小为128m,【hadoop2.0版本以上】,之前都是64m。

  最小块大小为1m,每512个字节做一次checksum。

  原因:默认传输效率10M/s  寻址时间占传输时间的1%  寻址时间为10ms

  总结:block是物理的,真正存储的位置在本地磁盘{hadoop.tmp.dir}/dfs/data,

     block是针对文件说的,按照块号存储的物理文件,复本是针对块说的。

三:WebUI:50070描述

  Startup Progress页【集群开启的过程】

    -->加载fsimage镜像文件

    -->加载edits编辑文件

    -->Saving checkpoint(检查点)

    -->Safe mode

    -->awaiting reported blocks

 

相关文章:

  • 2021-11-27
  • 2021-10-27
  • 2022-01-17
  • 2021-04-30
  • 2021-06-19
  • 2021-09-04
  • 2022-01-10
猜你喜欢
  • 2021-09-09
  • 2021-05-23
  • 2022-02-04
  • 2021-10-19
  • 2021-06-08
  • 2021-12-21
相关资源
相似解决方案