【问题标题】:query reg hbase查询 reg hbase
【发布时间】:2012-02-21 21:12:11
【问题描述】:

正如我们所知,hadoop 用于数据的批处理。如果我们想根据 hadoop mapreduce 作业产生的结果进行一些趋势分析,最好的方法是什么。我们如何检索 mapreduce 结果以进行趋势分析。

这里可以使用hbase吗。如果是这样,hbase 是否具备对存储在 hbase 中的数据进行过滤和聚合功能的所有功能?

谢谢 MRK

【问题讨论】:

  • 趋势是什么意思?
  • 根据输入的动态选择以图形方式显示结果。

标签: hadoop hbase


【解决方案1】:

虽然现在 hadoop word 中有完美解决这个问题的方法,但是有一些方法可以解决这类问题:
a) 要使用 MR 生成一些“按需数据集市”,请将其加载到 RDBMS 中并实时运行您的查询。如果这个数据子集比整个数据集小得多,它就可以工作。 b) 使用与 Hadoop 集成的 MPP 数据库。例如,GreenPlum HD 具有与 hadoop 预集成的 MPP 数据库。 c) 使用一些更轻量级的 MR 框架:Spark。它的延迟要少得多,但希望您的数据集与 RAM 相当。

【讨论】:

    【解决方案2】:

    您可能想查看Hive

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-03-21
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多