【问题标题】:How to join Hbase table from another Hbase table?如何从另一个 Hbase 表加入 Hbase 表?
【发布时间】:2016-03-30 10:04:22
【问题描述】:

大家

我是 Hadoop World 的新手,我对 Hbase 连接有一些问题。

我有两个集群,集群A的Hbase有员工表,集群B的Hbase有部门表。

那么,如何加入员工和部门?

我需要安装 Hive 吗?

【问题讨论】:

标签: hadoop hive hbase


【解决方案1】:

如果这些表位于两个单独的集群中,您需要将一个 HBase 表从一个集群获取到另一个集群。这可以通过sqoop 完成。

从那里,理论上您可以按照 Vignesh I 在 cmets 中的建议使用 Phoenix,但是,那里有一些限制。您需要为这两个 HBase 表创建一个 Phoenix 视图。 Phoenix 中的原生 HBase 视图目前不会自动更新,如果它们在 Phoenix 之外更新,大多数原生 HBase em> 表将是。这有效地在 Phoenix 快照中呈现原生 HBase 表的视图,而不是视图;您需要定期重建任何索引(可能还包括统计信息),以便捕获对底层 HBase 表的任何更新。

有一个开放的 JIRA 可以增强此行为,使其自动更新,但目前尚不清楚此类功能的 ETA。

我建议,除非您有非常具体的实时需求(在这种情况下 Phoenix,如果您可以忍受视图限制,可能是更好的选择),是使用 @ 987654322@.

Pig 脚本中,您可以连接两个 HBase 表,然后执行各种转换。

Hive 是另一种选择,但在这种情况下,您需要将 HBase 中的两个表 sqoop 放入 Hive,然后在 Hive 中从那里继续。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-04-01
    相关资源
    最近更新 更多