Hadoop权威指南---管理Hadoop

目录

1、HDFS 

1.1 永久性数据结构 

1.1.1、namenode的目录结构

1.1.2、文件系统镜像和编辑日志

1.1.3、辅助namenode的目录结构

1.1.4、DataNode的目录结构

1.2 安全模式

1.3 日志审计

​1.4 工具 

1.4.1、dfsadmin

1.4.2、文件系统检查工具fsck

1.4.3、datanode块扫描器

1.4.4、均衡器balancer

2 、监控 

2.1 日志 

2.2 度量和JMX（Java管理扩展） 

3、维护

3.1 日常管理过程 

1）、元数据备份（备份镜像文件）

2）、数据备份（HDFS也不是绝对的安全）

3）、文件系统检测fsck

4）、文件系统均衡器

3.2 委任和解除节点 

1）、添加新节点

2）、移除旧节点

3.3 升级 

---

1、HDFS 

1.1 永久性数据结构 

1.1.1、namenode的目录结构

1.1.2、文件系统镜像和编辑日志

 

 

1.1.3、辅助namenode的目录结构

1.1.4、DataNode的目录结构

1.2 安全模式

 

1.3 日志审计

1.4 工具 

1.4.1、dfsadmin

1.4.2、文件系统检查工具fsck

1.4.3、datanode块扫描器

1.4.4、均衡器balancer

2 、监控 

2.1 日志 

1）、设置日志级别

2）、获取堆栈跟踪

2.2 度量和JMX（Java管理扩展） 

 

3、维护

3.1 日常管理过程 

1）、元数据备份（备份镜像文件）

2）、数据备份（HDFS也不是绝对的安全）

3）、文件系统检测fsck

4）、文件系统均衡器

3.2 委任和解除节点 

1）、添加新节点

2）、移除旧节点

3.3 升级 

 

参考：

《Hadoop权威指南.大数据的存储与分析.第4版》--第11章 管理Hadoop