【问题标题】:How to read S3 XML files query using Hive如何使用 Hive 读取 S3 XML 文件查询
【发布时间】:2017-04-04 14:32:22
【问题描述】:

我将 XML 文件存储在 AWS S3 存储桶中。我想提取 XML 元数据并加载到 HDFS 上的 HIVE 表中。是否有任何工具可以帮助加快这项活动?

【问题讨论】:

    标签: amazon-web-services amazon-ec2 hive hiveql emr


    【解决方案1】:

    好吧,您可能需要使用 HIVE XML SerDe 来读取 XML 文件或编写/使用可以理解 XML 的自定义 UDF。

    一些可能有帮助的参考资料:https://community.hortonworks.com/articles/972/hive-and-xml-pasring.html https://github.com/dvasilen/Hive-XML-SerDe/wiki/XML-data-sources https://community.hortonworks.com/questions/47840/how-do-i-do-xml-string-parsing-in-hive.html

    【讨论】:

    • 借助 hivexmlserde-1.0.5.3.jar 设法从 XML 中提取数据。
    • 太棒了@帕万!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-08-31
    • 2015-04-18
    • 1970-01-01
    • 1970-01-01
    • 2011-09-06
    • 2011-02-02
    • 1970-01-01
    相关资源
    最近更新 更多