【问题标题】:How to add a Secondary NameNode in a HBase cluster setup?如何在 HBase 集群设置中添加辅助 NameNode?
【发布时间】:2017-05-03 17:39:16
【问题描述】:

我有一个具有 3 个节点的 Hbase 集群设置:一个 NameNode 和 2 个 DataNode。 NameNode是一个4GB内存和20GB硬盘的服务器,每个DataNode有8GB内存和100GB硬盘。

我正在使用 Apache Hadoop 版本:2.7.2 和 Apache Hbase 版本:1.2.4

我看到一些人提到了辅助 NameNode。

我的问题是,

  1. 在我的设置中没有辅助 NameNode 有什么影响?
  2. 是否可以将其中一个 DataNode 用作辅助 NameNode?​​li>
  3. 如果可能,我该怎么做? (我只在 /etc/hadoop/masters 文件中插入了 NameNode。)

【问题讨论】:

    标签: hadoop hbase


    【解决方案1】:
    1. 在我的设置中没有辅助 NameNode 有什么影响?

    SecondaryNamenode 定期将命名空间图像与编辑日志合并(称为检查点)。您的设置不是高可用性设置,因此没有高可用性设置会导致编辑日志变大,最终会在启动期间增加 NameNode 的开销。

    1. 是否可以将其中一个 DataNode 用作辅助 NameNode?​​li>

    不建议在 Datanode 主机中运行 SNN。首选单独的主机来运行辅助 Namenode 进程。为 SNN 选择的主机必须具有与 NN 相同的内存。

    1. 如果可能,我该怎么做? (我只在 /etc/hadoop/masters 文件中插入了 NameNode。)

    masters 文件不再使用。将此属性添加到hdfs-site.xml

    <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>SNN_host:50090</value>
    </property>
    

    还要注意,SecondaryNamenode进程默认在start-dfs.sh执行的节点启动。

    【讨论】:

    • 谢谢@franklinsijo。两个名称节点是否必须具有相同的 hdfs-site.xml?
    • HA 设置的最佳解决方案是什么:Secondary Namenode、Checkpoint 节点或 Backup 节点?
    • HA 中没有辅助名称节点。备用名称节点负责检查点。如果您有与 HA 相关的问题,请使用 high-availability 标签打开一个新问题。
    猜你喜欢
    • 1970-01-01
    • 2015-04-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-12-05
    • 1970-01-01
    • 2017-09-13
    相关资源
    最近更新 更多