AWS Glue 从 json 文件更改架构

Question

我想根据 JSON 文件更改 AWS Glue 表架构。 JSON 格式为{"column_name0":"data_type0","column_name1":"data_type1"}。 我怎样才能做到这一点？我读过可以使用JSON classifier，但我不知道如何使用。我尝试将我的 JSON 文件添加到 S3 文件夹中，其中存储了爬虫创建表的文件，但它从 JSON 文件创建了另一个表。

Answer 1

这样做似乎是一个奇怪的选择，您是否考虑过需要手动创建架构的特定场景？直接在源上使用带有from_catalog 或from_options 的爬虫通常会很好地推断架构。如果您想保留有限的列，只需从框架中选择这些列并丢弃其余列。如果您有转换（例如转换）数据类型的特定需求，请使用ResolveChoice。

话虽如此，您有几个选择：

• 如果您通过 CDK 进行部署，您可以为 glue table within a glue DB via your CDK code, in the columns option 指定架构（您可以通过您的文件以编程方式创建）
• 如果您通过 CLI 进行部署，您可以创建一个简单的脚本（例如在 powershell 或 bash 中），根据您的 JSON 文件为 CLI 创建一个格式正确的表输入，并调用 create table command

注意：我不希望 JSON 分类器在这里对您有用。您可以使用custom classifier，但这只会让您指定您想要使用的列（通过 JSONPath），并且类型会被推断出来。每次您还想更改架构时，都需要编辑该自定义分类器。