【问题标题】:AWS Glue & Crawler for Hierarchical Avro fileAWS Glue & Crawler for Hierarchical Avro 文件
【发布时间】:2020-09-26 03:46:38
【问题描述】:

我们有一个用例来读取分层 Avro 文件,其架构在摄取期间会动态变化。我知道对于展平文件,我们可以使用 Crawler 读取元数据并从中创建模式,但是我想知道爬虫是否可以从分层文件中读取模式并刷新 Glue ETL 作业。请分享您对此的看法。

谢谢!!

【问题讨论】:

    标签: amazon-web-services avro aws-glue


    【解决方案1】:

    Glue 爬虫可以读取分层架构,并且可以动态地用于 Glue 作业

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-04-06
      • 1970-01-01
      • 1970-01-01
      • 2020-01-22
      • 2021-10-12
      • 1970-01-01
      • 2022-08-19
      • 2018-06-30
      相关资源
      最近更新 更多