【问题标题】:Load from HIVE table into HDFS as AVRO file从 HIVE 表加载到 HDFS 作为 AVRO 文件
【发布时间】:2014-07-15 11:00:49
【问题描述】:

我想从 HIVE 表中加载一个文件到 HDFS(作为 .avro 文件)。 目前,我可以将表作为文件从 HIVE 移动到 HDFS,但我无法指定目标文件的特定格式。有人可以帮我吗??

【问题讨论】:

    标签: hadoop hive bigdata hiveql avro


    【解决方案1】:

    所以你的问题是真的

    如何将 Hive 表转换为不同的存储格式?

    创建一个与 avro 表具有相同字段和类型的新表,并更改输入格式。然后从旧表插入到新表中。

    INSERT OVERWRITE TABLE newtable SELECT * FROM oldtable
    

    【讨论】:

    • 感谢您的意见。我的问题是如何将文件从 HIVE 表加载到 HDFS 中。 HDFS 中的目标文件应该是 avro 文件。根据您的输入,我只是在转换 HIVE 表的输入格式。
    • @Jomy : 如果使用 avro 存储创建表,则数据 存储在 HDFS 中,通常在 "/user/hive/warehouse//" 你可以把数据文件复制出来。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-08-29
    • 1970-01-01
    • 1970-01-01
    • 2015-05-28
    • 2015-12-28
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多