胶水爬虫读取 Json 数组答案

【问题标题】：Glue Crawler to read Json Array胶水爬虫读取 Json 数组
【发布时间】：2020-07-20 15:16:04
【问题描述】：

我有一个格式的 Json 数组文件：- [[{Key1:Value1},{Key2:Value2},{Key3:Value3}],[{Key1:Value4},{Key2:Value5},{Key3:Value6}]]

我需要使用 AWS 胶水抓取上述文件并读取 json 架构，其中每个键作为架构中的一列。我尝试使用标准的 json 分类器，但它似乎不起作用，并且模式作为数组加载。我需要从 S3 读取 json 文件并将其加载到 RDS 数据库中。任何有关如何通过粘合作业或分类器进行转换的建议都会有所帮助。

【问题讨论】：

【解决方案1】：

我遇到了同样的问题。我的一个解决方案是使用jq 格式化 json 文件，然后将该文件重新上传到 S3。在这里使用任何其他类型的 json 格式化工具也会有所帮助。

还有其他方法我还不知道，希望对你有帮助！

【讨论】：

【解决方案2】：

创建自定义 JSON 分类器并将 JSON 路径指定为 $[*]

【讨论】：