【问题标题】:How to persist namenode information in hdfs如何在hdfs中持久化namenode信息
【发布时间】:2012-09-25 09:23:38
【问题描述】:

我已经在我的桌面上设置了一个单节点集群。问题是我不能让我的桌面一直运行。我确实执行了 stop-all.sh,但稍后当我执行 start-all.sh 时,我的 namenode 没有启动。最后我必须做 %hadoop namenode -format ,通过丢失我的所有数据来继续。

【问题讨论】:

    标签: hadoop hdfs


    【解决方案1】:

    出现严重错误。请检查 namenode 写入的图像和编辑文件会发生什么。如果他们没问题 - NameNode 可以启动。
    另外......存储NN数据的最后一个地方是HDFS - 因为你会遇到鸡蛋和鸡肉的问题。 W/o NN 数据 HDFS 不可访问。

    【讨论】:

    • 我在 core-sites.xml 中添加了 hadoop.tmp.dir,现在一切正常。但为什么它首先发生。 Hadoop 默认采用 /tmp/hadoop-${user.name}。在我的情况下,访问被拒绝。 @david-gruzman 如果拒绝访问 tmp 文件,hadoop 是否会开始使用 hdfs 本身?
    • 我几乎可以肯定,如果 HDFS 无法访问它需要的某些目录,它将无法启动/运行。 Hadoop 肯定不会使用 HDFS 代替本地目录。 CDH 甚至会检查 dirs 是否具有他们期望的完全权限,否则无法正常工作
    猜你喜欢
    • 2015-07-21
    • 2019-11-24
    • 2022-10-21
    • 2019-01-20
    • 1970-01-01
    • 2018-04-07
    • 2019-07-31
    • 1970-01-01
    相关资源
    最近更新 更多