java.io.IOException: dfs.datanode.data.dir 中的所有目录都无效答案

【问题标题】：java.io.IOException: All directories in dfs.datanode.data.dir are invalidjava.io.IOException: dfs.datanode.data.dir 中的所有目录都无效
【发布时间】：2017-07-14 00:06:13
【问题描述】：

我试图让 hadoop 和 hive 在我的 linux 系统上本地运行，但是当我运行 jps 时，我注意到 datanode 服务丢失了：

vaughn@vaughn-notebook:/usr/local/hadoop$ jps
2209 NameNode
2682 ResourceManager
3084 Jps
2510 SecondaryNameNode

如果我运行 bin/hadoop datanode，会出现以下错误：

    17/07/13 19:40:14 INFO datanode.DataNode: registered UNIX signal handlers for [TERM, HUP, INT]
    17/07/13 19:40:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    17/07/13 19:40:15 WARN datanode.DataNode: Invalid dfs.datanode.data.dir /home/cloudera/hdata/dfs/data : 
    ExitCodeException exitCode=1: chmod: changing permissions of '/home/cloudera/hdata/dfs/data': Operation not permitted

        at org.apache.hadoop.util.Shell.runCommand(Shell.java:559)
        at org.apache.hadoop.util.Shell.run(Shell.java:476)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:723)
        at org.apache.hadoop.util.Shell.execCommand(Shell.java:812)
        at org.apache.hadoop.util.Shell.execCommand(Shell.java:795)
        at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:646)
        at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:479)
        at org.apache.hadoop.util.DiskChecker.mkdirsWithExistsAndPermissionCheck(DiskChecker.java:140)
        at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:156)
        at org.apache.hadoop.hdfs.server.datanode.DataNode$DataNodeDiskChecker.checkDir(DataNode.java:2285)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2327)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2309)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2201)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2248)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2424)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2448)
    17/07/13 19:40:15 FATAL datanode.DataNode: Exception in secureMain
    java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/home/cloudera/hdata/dfs/data/" 
        at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2336)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2309)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2201)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2248)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2424)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2448)
    17/07/13 19:40:15 INFO util.ExitUtil: Exiting with status 1
    17/07/13 19:40:15 INFO datanode.DataNode: SHUTDOWN_MSG: 
    /************************************************************

SHUTDOWN_MSG: Shutting down DataNode at vaughn-notebook/127.0.1.1

那个目录看起来不寻常，但我认为它在技术上没有任何问题。以下是目录的权限：

vaughn@vaughn-notebook:/usr/local/hadoop$ ls -ld /home/cloudera/hdata/dfs/data
drwxrwxrwx 2 root root 4096 Jul 13 19:14 /home/cloudera/hdata/dfs/data

我还删除了 tmp 文件夹中的所有内容并格式化了 hdfs 名称节点。这是我的 hdfs-site 文件：

<configuration>

<property>
  <name>dfs.replication</name>
  <value>1</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/home/cloudera/hdata/dfs/name</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/home/cloudera/hdata/dfs/data</value>
 </property>

</configuration>

还有我的核心站点文件：

<configuration>

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/cloudera/hdata</value>
</property>

</configuration>

在我的谷歌搜索中，我看到一些建议运行“sudo chown hduser:hadoop -R /usr/local/hadoop_store”，但是当我这样做时，我收到错误“chown: invalid user: 'hduser:hadoop' ”。我必须创建这个用户和组吗？我不是很熟悉这个过程。提前感谢您的帮助。

【问题讨论】：

您用于启动/停止 hadoop 服务的用户帐户是什么？

标签： ubuntu hadoop hive hdfs

【解决方案1】：

1.sudo chown vaughn:hadoop -R /usr/local/hadoop_store

hadoop 是组名。使用

grep vaughn /etc/group

在您的终端中查看您的群组名称。

2.清理临时目录。

3.格式化名称节点。

希望这会有所帮助。

【讨论】：

谢谢，成功了！

【解决方案2】：

看起来这是一个权限问题，用于启动数据节点的用户应该在数据节点-数据目录中具有写入权限。

尝试在启动datanode服务之前执行以下命令。

sudo chmod -R 777 /home/cloudera/hdata/dfs

您也可以使用 chown 命令更新 owner:group，这是最好的选择。

编辑

如果数据节点启动仍然失败，请在启动数据节点之前尝试使用以下命令更新文件所有权。

sudo chown -R vaughn.root /home/cloudera/hdata/dfs

【讨论】：

感谢您的回复，萨钦。我已经将 dfs 文件夹的权限设置为 777，我想我忘了提及这一点。为了确定，我又试了一次，数据节点仍然没有启动。我用来启动服务的帐户称为“vaughn”，但我不确定在这种情况下如何使用 chown。

【解决方案3】：

sudo chown -R /usr/local/hadoop_store

删除hadoop_store中的datanode namenode目录

stop-dfs.sh 和 stop-yarn.sh

hadoop fs namenode -format

start-dfs.sh 和 start dfs-yarn.sh

希望对你有帮助

【讨论】：

【解决方案4】：

在我的情况下还有一个可能的原因：HDFS 目录在文件夹属性中的位置两次显示用户名，即 home/hadoop/hadoop/hdfs 所以，我在 hdfs-site.xml。作为解决方案，我删除了 hadoop/ 并将其更改为 home/hadoop/hdfs，这解决了我的问题。

【讨论】：