无法将 AWS Athena 与 JSON + Snappy 一起使用答案

【问题标题】：Unable to use AWS Athena with JSON + Snappy无法将 AWS Athena 与 JSON + Snappy 一起使用
【发布时间】：2021-03-16 23:05:05
【问题描述】：

在查看 AWS Athena 的 supported compression documentation 时，我可以看到支持 Snappy。但是，当尝试将 Snappy 压缩与 JSON 数据格式一起使用时，我遇到了许多错误。

我尝试在 Athena 中使用两个可用的 SerDes 创建表：

'org.apache.hive.hcatalog.data.JsonSerDe'
'org.openx.data.jsonserde.JsonSerDe'

我尝试过未压缩的 JSON 并使用 GZIP 进行压缩。两者都工作正常。

我尝试使用大量 TBLPROPERTIES 和 SERDEPROPERTIES 创建表，但没有任何帮助。

我的查询中的“返回零记录”是任何尝试查询 SNAPPY 压缩 JSON 的最终结果。

有没有人看到这个问题并解决了它？

【问题讨论】：

【解决方案1】：

对于CSV、TSV 和JSON 中的数据，Athena 会根据文件扩展名确定压缩类型。如果不存在文件扩展名，Athena 会将数据视为未压缩的纯文本。如果您的数据被压缩，请确保文件名包含压缩扩展名.json.snappy

【讨论】：

数据以 .sz 格式输出，这种格式很简洁，只是类型不正确。需要将 snzip 的输出更改为 Hadoop-snappy 以获得 .snappy 扩展名。感谢您的帮助。