【问题标题】:Does Hive and HBase require running Hadoop Cluster?Hive 和 HBase 是否需要运行 Hadoop 集群?
【发布时间】:2018-04-03 10:04:57
【问题描述】:

这可能是一个非常基本的问题,但我想知道要在 Hive 和 HBase 中使用查询,我们是否需要一个正在运行的 Hadoop 集群?

我想使用 Hive 或 HBase 和 AWS S3 存储来存储我的数据,但想知道我是否需要我的集群一直运行才能运行查询,因为这会产生成本?

【问题讨论】:

    标签: amazon-s3 hive hbase


    【解决方案1】:

    Hive 不,HBase 是的,因为它需要“真正的文件系统”。 AWS EMR 已经对他们的 HBase 版本做了一些“事情”来解决这个问题,但他们没有与开源代码共享这项工作,所以你只能通过 EMR 获得它

    【讨论】:

    • 注意:Azure WASB存储可以直接支持HBase;它具有 HBase 所期望的语义。
    • 由于 hive 将查询转换为 MapReduce 作业,那么 MapReduce 作业如何在没有 hadoop 集群的情况下运行?说,我在 S3 上有 hive,我在 Hive 上运行查询,它被转换为 MapReduce,如果我没有正在运行的集群,这是如何工作的?
    • 你需要一些东西来执行查询。 Qubole 在那里做了一些特别的事情,但除此之外:你需要 1+ 台能够执行工作的机器。顺便说一句,现在很少使用 MapReduce,Hive & Tez 或 Hive & LLAP;
    猜你喜欢
    • 2012-11-01
    • 2014-06-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多