将多个列族从 hbase 导入到 hive

Question

我正在尝试将具有两个 列族 的 hbase 表移动到 hive 表中。我可以移动一个列族，但如何在同一个配置单元表中移动另一个列族。

编辑：

我在代码下方移动了一个列族。

CREATE TABLE hbase_hive(key string, firstname string, age string)
STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’
WITH SERDEPROPERTIES (“hbase.columns.mapping” = “id:firstname,id:age")
TBLPROPERTIES(“hbase.table.name” = “hl”);

但我还有一个名为 hb 的列族，并且有三列。如何做到这一点。

更新：

我也尝试在下面添加不同列族的列名是我的代码。

CREATE TABLE hbase_hive(key string, firstname string, age string, testname string)
STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’
WITH SERDEPROPERTIES (“hbase.columns.mapping” = “id:firstname,id:age,pd:name")
TBLPROPERTIES(“hbase.table.name” = “hl”);

但我得到以下结果：

 819215975  19391121    625678921720    NULL
 819617215  19570622    625116365890    NULL
 820333876  19640303    623221670810    NULL
 824794938  19531211    625278010070    NULL
 828093442  19420803    625284904860    NULL
 828905771  19320209    625078004220    NULL
 829832017  19630722    625178010070    NULL

我得到空值而不是值。

更新：

我尝试在 hbase shell 中使用以下命令创建 hbase 表

create ‘hl’,’id’

然后我使用以下命令创建了另一个列族

alter ‘hl’,’pd’ 

Answer 1

在您的 HiveQL 中，您从 hbase 表“hl”中选择列族“id”中的两列到 hive 表中。如果您想添加更多列（甚至来自其他列族），只需将它们添加到表模式和hbase.columns.mapping。例如：

CREATE TABLE hbase_hive(key string, firstname string, age string, a string)
STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’
WITH SERDEPROPERTIES (“hbase.columns.mapping” = “id:firstname,id:age,hb:a")
TBLPROPERTIES(“hbase.table.name” = “hl”);

见https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration#HBaseIntegration-MultipleColumnsandFamilies

Answer 2

我发现您所写的内容存在几个问题（或多或少）：

• 首先，我会创建一个EXTERNAL TABLE 来代替
• 您正在创建一个只有 3 列但最终需要 4 列的 Hive 表
• 您没有显式映射:key
• 您的“名字”和“年龄”数据看起来像狂野的随机数！ :|

我无法对其进行测试，但以下应该是一个更好的起点：

CREATE EXTERNAL TABLE hbase_hive_hl(key string, firstname string, age string, name string)
STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’
WITH SERDEPROPERTIES (“hbase.columns.mapping” = “:key,id:firstname,id:age,pd:name")
TBLPROPERTIES(“hbase.table.name” = “hl”);