【问题标题】:datanode does not have "namenode" directory under hdfsdatanode在hdfs下没有“namenode”目录
【发布时间】:2016-03-16 17:23:19
【问题描述】:

所以我有一个小型 Hadoop 集群,有 1 个主节点和 5 个工作节点。我的主人和工人的 hdfs-site.xml 看起来像这样:

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/username/hadoop/yarn/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/username/hadoop/yarn/hdfs/datanode</value>
</property>
</configuration>

我的集群运行平稳,所有守护进程运行良好。我可以访问 HDFS 以导入、导出数据、运行字数统计作业等……但是在我的工作人员中,“/home/username/hadoop/yarn/hdfs/”路径下没有“namenode”文件夹。这是正常行为吗?

【问题讨论】:

    标签: hadoop hadoop-yarn


    【解决方案1】:

    NameNode 文件夹应该在名称节点主机上可用

    【讨论】:

      【解决方案2】:

      您的 namenode 文件夹存在于运行 namenode 守护程序的节点上。

      根据上述hdfs-site.xml。它创建于

      /home/username/hadoop/yarn/hdfs/namenode
      

      【讨论】:

      • 上述 hdfs 站点配置对于所有工作节点都是相同的。它不应该在工作节点上创建一个namenode文件夹吗?
      • 我们必须手动创建文件夹。提供 hdfs-site.xml 中的值不会在系统中创建文件夹。 Namenode 和 datanodes 或 worker 节点只选择对它们有意义的配置参数并忽略 rest
      【解决方案3】:

      您已经有一段时间没有发布您的问题了,但是,它应该是这样的。

      换句话说,worker 是一个数据节点,因此只需要一个“datanode”目录。因此,但这取决于您的配置,名称节点通常只有一个名称节点目录。一个例外是您的名称节点也充当数据节点,不推荐但可能。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2015-03-26
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2019-08-11
        • 1970-01-01
        相关资源
        最近更新 更多