namenode 删除后从 HDFS 恢复文件

Question

我的 namenode 服务器这个周末被黑了，/usr/local/hadoop 目录不再存在。是否仍然可以恢复存储在 HDFS 上的文件？数据节点是可访问的，每个节点都包含层次结构中的某处 blk_{...} 数据。

Answer 1

如果您没有名称 dir 的任何副本/备份，则恢复数据将是一项艰巨的任务。数据节点不知道文件的任何概念，只有块。所有数据都存在于这些块中，但您必须手动从它们的块中重建文件。如果您有一些非常重要的特定文件并且总体数据不多，您可以筛选这些块以找到您要查找的内容，但我不知道有什么比这更好的。

这就是为什么有许多方法可以冗余存储命名空间的多个副本，例如通过在dfs.namenode.name.dir 属性中指定多个目录，并使用辅助或备用名称节点（请参阅https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Secondary_NameNode），它们充当存储命名空间副本的远程位置。