Hbase 表导出到 Hive

Question

你好 :) 我正在准备将 1 个 hbase 表的整个数据移动到 hive。表的大小非常大（500Terabytes）

搜索结果有hbase导出，但是只支持hbase和hbase之间的数据移动（hdfs中掉的文件不是纯文本，所以hive不能立即读取） 另外，由于 hbase 是远程集群和各种安全策略，因此无法使用 hive 的 hbase 处理程序。

如果像 Hive 到 Hive 那样支持 INSERT INTO 语法会很好，但我正在寻找另一种方法。有没有一种好方法可以用逗号分隔 Hbase 表的每一列并将其放到 hdfs 中？

Answer 1

您可以尝试使用 ExportSnapshot 工具将数据从 Hbase 移动到另一个集群上的 HDFS，例如，

$ hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot MySnapshot -copy-to hdfs://yourserver:8020/hbase_root_dir -mappers 16

查看this了解更多详情。