【问题标题】:Importing data to hbase using sqoop使用 sqoop 将数据导入 hbase
【发布时间】:2019-04-26 21:33:21
【问题描述】:

当我想使用 sqoop 将数据导入 hive 时,我可以指定 --hive-home <dir>,并且 sqoop 将调用安装在执行脚本的机器上的指定 hive 副本。但是hbase呢? sqoop 是如何知道我希望在哪个 hbase 实例/数据库上导入数据的?

【问题讨论】:

    标签: hadoop hive hbase sqoop


    【解决方案1】:

    Maybe the documentation helps?

    通过指定--hbase-table,您指示 Sqoop 导入到 HBase 中的表而不是 HDFS 中的目录

    我看到的每个示例都只显示了该选项以及列族等等,所以我认为它取决于可能属于sqoop-env.sh 的任何变量,例如Hortonworks docs say 的内容


    当您提供 hive 主目录时,这也不是告诉它任何数据库或表信息,而是告诉它在您运行 Sqoop 的机器上存在 Hive 配置文件的位置。默认设置为环境变量$HIVE_HOME

    【讨论】:

    • 感谢您的回答。但这基本上意味着通过在 sqoop-env.sh 中指定 hbase/hive 路径,它会告诉 sqoop 我希望将数据导入哪个数据库 Hbase/Hive(sqoop 应该调用哪个数据库实例)不是吗?因为我可以在机器上安装 3 个副本或 Hbase 或 Hive,每个都有不同的配置,所以我可以选择我希望将数据导入到哪个具体的 hbase/hive 实例对吗?
    • 通过指定哪些配置文件夹,它会读取不同集群的zookeeper quorums和Hive metastore和HDFS设置等,是的
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-07-25
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多