【问题标题】:Distributed Cluster Hadoop and Hbase分布式集群 Hadoop 和 Hbase
【发布时间】:2016-09-28 11:53:43
【问题描述】:

我有两个节点的完全分布式 Hadoop 和 Hbase 实例。 HDFS 在主机和从机上完美运行。 但是 HBase shell 在节点名被格式化并且集群是新的之后只工作一次,之后我得到错误: 错误:org.apache.hadoop.hbase.PleaseHoldException: Master 正在初始化 hbase

我也无法通过从机通过 hbase shell 连接我总是收到错误连接被拒绝,并且在 HBase Web UI 中,我只能在作为主节点的 regionserver 上看到

掌握hbase-site.xml:

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master,slave</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/hbase-1.2.1/data/zookeeper</value>
    </property>
    <property>
                <name>hbase.zookeeper.property.clientPort</name>
                <value>2181</value>
        </property>
    <property>
        <name>hbase.regionserver.thrift.framed</name>
        <value>true</value>
    </property>
     <property>
                <name>hbase.zookeeper.property.maxClientCnxns</name>
                <value>1000</value>
        </property>
    <property>
        <name>hbase.regionserver.thrift.server.type</name>
        <value>TThreadPoolServer</value>
    </property>
    <property>
            <name>avatica.statementcache.maxcapacity</name>
            <value>20000</value>
    </property>
</configuration>

从站 hbase-site.xml

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
                <name>hbase.zookeeper.property.maxClientCnxns</name>
                <value>1000</value>
        </property>
    <property>
                <name>hbase.zookeeper.property.clientPort</name>
                <value>2181</value>
        </property>
</configuration>

JPS 大师:

JPS 从站:

【问题讨论】:

  • 当我使用 localhost:16030/rs-status 检查从节点时 .... 我得到 RegionServer 正在初始化
  • 你检查过 master 和 regionserver 日志,把它们放到 DEBUG 级别,看看你是否得到任何额外的信息
  • 我已经检查了hbase区域服务器的日志没有问题:hadoop验证成功,从127.0.0.1端口连接:56556,版本信息:版本:
  • 但是给我本地ip地址而不是master的网络ip地址可以吗
  • 在启动 HBase 时出现此错误 slave: 0 [main] ERROR org.apache.zookeeper.server.quorum.QuorumPeerConfig - 配置无效,在我的配置中仅指定(忽略)一台服务器我把 HBase管理动物园管理员

标签: java hadoop hbase nosql


【解决方案1】:

我在 /etc/hosts 中删除所有与 127.0.0.1 相关的条目并将 hdfs-site.xml 复制到所有节点中的 $HBASE_HOME/conf 后问题解决

【讨论】:

  • 删除是否意味着从文件中完全删除,或者仅仅注释掉就足够了?谢谢!