我解决了...
java.io.IOException: 不兼容的命名空间ID
如果您在 DataNode 的日志 (logs/hadoop-hduser-datanode-.log) 中看到错误 java.io.IOException: Incompatible namespaceIDs,那么您很可能受到问题 HDFS-107(以前称为 HADOOP)的影响-1212)。
我的机器上的完整错误如下所示:
... 错误 org.apache.hadoop.dfs.DataNode:java.io.IOException:/app/hadoop/tmp/dfs/data 中的 namespaceID 不兼容:namenode namespaceID = 308967713;数据节点命名空间ID = 113030094
在 org.apache.hadoop.dfs.DataStorage.doTransition(DataStorage.java:281)
在 org.apache.hadoop.dfs.DataStorage.recoverTransitionRead(DataStorage.java:121)
在 org.apache.hadoop.dfs.DataNode.startDataNode(DataNode.java:230)
在 org.apache.hadoop.dfs.DataNode.(DataNode.java:199)
在 org.apache.hadoop.dfs.DataNode.makeInstance(DataNode.java:1202)
在 org.apache.hadoop.dfs.DataNode.run(DataNode.java:1146)
在 org.apache.hadoop.dfs.DataNode.createDataNode(DataNode.java:1167)
在 org.apache.hadoop.dfs.DataNode.main(DataNode.java:1326)
目前,似乎有两种解决方法,如下所述。
解决方法 1:从头开始
我可以证明以下步骤解决了这个错误,但副作用不会让你开心(我也不开心)。我发现的粗略解决方法是:
停止集群
删除有问题的DataNode上的数据目录:目录由conf/hdfs-site.xml中的dfs.data.dir指定;如果您按照本教程进行操作,则相关目录为 /app/hadoop/tmp/dfs/data
重新格式化 NameNode(注意:在此过程中所有 HDFS 数据都将丢失!)
重启集群
当删除所有 HDFS 数据并从头开始听起来不是一个好主意(在初始设置/测试期间可能没问题)时,您可以尝试第二种方法。
解决方法 2:更新有问题的 DataNode 的 namespaceID
非常感谢 Jared Stehler 的以下建议。我自己还没有测试过,但是请随时尝试一下并将您的反馈发送给我。这种解决方法是“微创”,因为您只需在有问题的 DataNode 上编辑一个文件:
停止数据节点
编辑 /current/VERSION 中 namespaceID 的值以匹配当前 NameNode 的值
重启数据节点
如果您按照我的教程中的说明进行操作,则相关文件的完整路径为:
NameNode:/app/hadoop/tmp/dfs/name/current/VERSION
DataNode:/app/hadoop/tmp/dfs/data/current/VERSION(背景:dfs.data.dir默认设置为${hadoop.tmp.dir}/dfs/data,我们设置hadoop.tmp.dir在本教程中添加到 /app/hadoop/tmp)。
这个问题的解决方案在下面的网站中给出了明确的说明:
http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/#java-io-ioexception-incompatible-namespaceids