【问题标题】:Hadoop Namenode without HDFS storage没有 HDFS 存储的 Hadoop Namenode
【发布时间】:2014-06-11 13:13:55
【问题描述】:

我已经安装了一个包含 3 台机器的 hadoop 集群,其中 2 个节点充当数据节点,1 个节点充当 Namenode 以及一个 Datanode。 我想澄清一些关于 hadoop 集群安装和架构的疑虑。 这是我正在寻找答案的问题列表----

  1. 我在集群中上传了一个大约 500mb 大小的数据文件,然后检查了 hdfs 报告。 我注意到我创建的名称节点在 hdfs 中也占用了 500mb 大小,以及复制因子为 2 的数据节点。 这里的问题是我希望名称节点不要在其上存储任何数据,简而言之,我不希望它作为数据节点工作,因为它还存储我正在上传的文件。那么有什么办法让它只充当主节点而不充当数据节点呢?

我尝试在 Namenode 上运行命令 hadoop -daemon.sh stop 以停止其上的 datanode 服务,但它没有任何帮助。

  1. Namenode 为通常为 1 GB 的文件大小生成多少元数据?任何近似值?

【问题讨论】:

    标签: hadoop cluster-computing biginsights


    【解决方案1】:

    转到您的主机上的 $HADOOP_HOME 目录中的 conf 目录。编辑名为 slaves 的文件并从中删除与您的名称节点对应的条目。这样,您只需要求其他两个节点充当从节点,并将节点命名为仅主节点。

    【讨论】:

    • 感谢您提供此信息,但我尝试从 Slaves 文件中删除 Masternode 的名称,但它无助于实现这一目标。我还尝试更新每个节点(datanodes)上的从属文件并删除 Namenode 条目,但仍然没有帮助。然后我终于尝试制作一个排除文件,该文件将解压缩名称节点上的数据节点,这花费了太长时间。
    • 你删除条目后重启了集群对吗?
    • 是的,我确实尝试重新启动集群,但它没有执行所需的操作。唯一有帮助的是创建一个排除文件并解压缩namenode上的datanode服务。这解决了问题。尽管在此 Zookeeper 和 BigSql 会议之后。文件损坏了,我不得不删除它们并让名称节点重新生成它们。
    猜你喜欢
    • 2014-09-26
    • 2018-05-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-11-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多