【问题标题】:How many is the minimum server composition of HBase?HBase的最小服务器组成是多少?
【发布时间】:2012-03-13 00:48:36
【问题描述】:

HBase的最小服务器组成是多少?

全分布式,使用分片,但不使用 Hadoop。 用于生产环境。

我很期待这样解释。

  • 服务器 1:动物园管理员

  • 服务器 2:区域服务器

    ...还有更多

谢谢。

【问题讨论】:

    标签: nosql hbase apache-zookeeper


    【解决方案1】:

    最小值为 1 - 请参阅 pseudo-distributed mode。涉及的运动部件是:

    假设您在 HDFS 上运行(您应该这样做):

    1. 1 个 HDFS 名称节点
    2. 1 个或多个 HDFS 辅助 NameNode
    3. 1 个或多个 HDFS 数据节点

    对于 MapReduce(如果需要):

    1. 1 MapReduce JobTracker
    2. 1 个或多个 MapReduce TaskTracker(通常与数据节点相同的机器)

    对于 HBase 本身

    1. 1 个或多个 HBase Master(s)(热备份是个好主意)
    2. 1 个或多个 HBase RegionServer(s)(通常与数据节点相同的机器)
    3. 1 个或多个 Thrift 服务器(如果您需要从它所在的网络外部访问 HBase)

    对于动物园管理员

    1. 3 - 5 个 ZooKeeper 节点

    您需要的机器数量实际上取决于您在面对硬件故障时需要多少可靠性以及对于什么样的节点。面对硬件故障时,上述唯一(尚)不支持热故障转移或其他恢复的节点是 HDFS NameNode,尽管这已在最近的 Hadoop 版本中得到修复。

    您通常希望将 RegionServers 的 HDFS 复制因子设置为 3,以便您可以利用 rack awareness

    因此,经过长时间的谩骂,我建议最低(用于生产部署):

    • 1x HDFS NameNode
    • 1x JobTracker / 辅助 NameNode
    • 3x ZK 节点
    • 3x DataNode / RegionServer 节点(如果你想运行 MapReduce,TaskTracker)
    • 1x Thrift Server(仅当从运行它的网络外部访问 HBase 时)

    【讨论】:

    • 我有误解释和误解,对不起。我必须更多地阅读文件。但是你的建议很好。谢谢。
    • 所以 8 台机器是最低限度(假设我们不需要 thrift 服务器),或者我们可以在 1 台机器上组合一些部件吗?基本上我希望从很小的地方开始并且有一个简单的升级路径。在 EC2 上构建此配置,新的演示项目每月很容易花费我 100 美元。
    • 对于演示项目,您当然可以组合许多/所有组件。我建议至少 8 个用于生产部署,以便在任何给定机器发生故障时都能幸免于难。在机器发生故障的情况下,组合组件只会降低可靠性/性能。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-01-09
    • 1970-01-01
    • 2011-03-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多