【发布时间】:2020-09-26 03:46:38
【问题描述】:
我们有一个用例来读取分层 Avro 文件,其架构在摄取期间会动态变化。我知道对于展平文件,我们可以使用 Crawler 读取元数据并从中创建模式,但是我想知道爬虫是否可以从分层文件中读取模式并刷新 Glue ETL 作业。请分享您对此的看法。
谢谢!!
【问题讨论】:
标签: amazon-web-services avro aws-glue
我们有一个用例来读取分层 Avro 文件,其架构在摄取期间会动态变化。我知道对于展平文件,我们可以使用 Crawler 读取元数据并从中创建模式,但是我想知道爬虫是否可以从分层文件中读取模式并刷新 Glue ETL 作业。请分享您对此的看法。
谢谢!!
【问题讨论】:
标签: amazon-web-services avro aws-glue
Glue 爬虫可以读取分层架构,并且可以动态地用于 Glue 作业
【讨论】: