第一天的笔记,是伪分布hadoop集群搭建,

    后面是hadoop Ha的分布式集群搭建

  1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

第一天,是HDFS的shell操作

 1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

 

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

 

 

 

NN工作机制

 1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

里面是二进制

 

 

DN工作原理

 1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

上传完了之后,在hdfs的虚拟路径下,有这个文件,其实,是切分成很多block,放到公共的datanode文件夹下。

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

  134217728/1024/1024=128M,所以,分成2个Block。

 

 

 

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

 1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

 

其实,此刻,blk_1073741856等价于jdk-7u65-linux-i586.tar.gz。

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

所以,文件被是切分成很多block,放到公共的datanode文件夹下。也可以合并,上述,就是合并,照样,达到复原。。。

 

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

1 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理

这里,有个知识点,blk_1073741856和blk_1073741857,没有显示出来。

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5893338.html,如需转载请自行联系原作者

相关文章:

  • 2021-05-30
  • 2021-08-18
  • 2021-08-11
  • 2022-12-23
  • 2021-04-11
  • 2021-09-18
  • 2021-08-27
  • 2021-08-14
猜你喜欢
  • 2021-09-29
  • 2021-06-10
  • 2021-12-24
  • 2021-05-28
  • 2021-09-27
  • 2021-12-27
相关资源
相似解决方案