【问题标题】:Query related to creating table in hive while sqoop importsqoop导入时在hive中创建表相关的查询
【发布时间】:2012-02-02 07:24:35
【问题描述】:

我正在尝试将 sqoop 从 SQL Server 导入 Hive。 当我执行 sqoop-import 命令时,问题是导入任务完成, 我可以看到 HDFS 上的完整数据(在 /user/hive/warehouse/table_name_dir 下) 但是当我在 HIve CLI 中执行“SHOW TABLES”命令时,我无法在列表中看到该表。

(一旦我尝试过:在导入表后发生与上面相同的事情,然后我在 Hive CLI 中运行 CREATE TABLE QUERY 并采用与导入的字段相同的字段,我能够查看和访问表Hive CLI。但我认为这不是每次执行时都有效的方法。

请给我一些解决方案 有没有我遗漏的步骤或有什么问题? 我不明白为什么会这样? 谢谢大家

【问题讨论】:

    标签: hive sqoop


    【解决方案1】:

    我也遇到过类似的问题,花了将近 4 天的时间。我尝试了几乎所有可用的选项,但未能成功。

    后来,我在https://issues.apache.org/jira/browse/HADOOP-5887发现了一些有趣的东西

    我认为,这个问题已在 Hadoop 0.21.0 及更高版本中得到修复。所以,如果你可以将你的版本升级到 0.21.0,这个问题可能会得到解决。我什至正在尝试升级它。

    谢谢,

    拉古

    【讨论】:

    • 其实这件事发生了,因为我没有用过metastore(主要是用MySQL)。后来我在阅读了很多链接后解决了这个问题。而在 Hadoop-0.21.0 中,这个问题可能已修复,因为我使用的是 hadoop-0.20.2-cdh3u2、hive-0.7.1、sqoop-1.3.0-cdh3u1。顺便说一句,感谢您提出这个问题。 :)
    【解决方案2】:

    您可以尝试 create-hive-table 工具,使用基于 HDFS 中存在的表的表定义填充 Hive 元存储。

    Follow the link for create-hive-table

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-05-03
      • 2016-08-07
      • 2017-02-03
      • 2016-04-26
      相关资源
      最近更新 更多