通过存储在 S3 中的 AWS Athena 读取相同格式的 JSON 和 CSV答案

【问题标题】：Reading JSON & CSV of same format through AWS Athena Stored in S3通过存储在 S3 中的 AWS Athena 读取相同格式的 JSON 和 CSV
【发布时间】：2018-09-19 09:40:31
【问题描述】：

我在存储桶内的 S3 文件夹中有不同的数据格式 -

创建的表对于所有 CSV、JSON 和 gz 格式文件具有相同的列。

现在我正在通过查询从 Athena 查询数据 -

SELECT *
FROM test2
WHERE readtime >= '2016-10-12'
  AND readtime <  '2016-10-24'
ORDER BY readtime

我能够从 CSV 和 GZ 文件格式中获取数据，但不能从 JSON 文件中获取数据。我是否必须使用不同的格式来查询 JSON 文件？和我可以使用同一张表来查询我用于 CSV 文件的 JSON 文件吗？

【问题讨论】：

标签： json amazon-web-services amazon-s3 amazon-athena

【解决方案1】：

您需要在 JSON 文件之上创建一个不同的表，该表将使用 JsonSerDe。

【讨论】：

【解决方案2】：

是的，根据 Tanveer 的回答，您需要为 JSON 创建一个单独的表。但是使用最近宣布的名为联合查询的功能（即在撰写本文时，us-east-1 的预览版），您应该能够使用相同的查询来查询两个表。见https://docs.aws.amazon.com/athena/latest/ug/writing-federated-queries.html

【讨论】：