如何提高对来自 Athena 的 s3 数据的查询性能

Question

我已将存储在 S3 中的数据以这样的配置单元格式分区。

bucket/year=2017/month=3/date=1/filename.json
bucket/year=2017/month=3/date=2/filename1.json
bucket/year=2017/month=3/date=3/filename2.json

每个分区大约有 1,000,000 条记录。为此，我在 Athena 中创建了表和分区。

现在从 Athena 运行查询

select count(*) from mts_data_1 where year='2017' and month='3' and date='1'

此查询需要 1800 秒来扫描 1,000,000 条记录。

所以我的问题是如何提高查询性能？

Answer 1

我认为问题在于 Athena 必须从 S3 读取这么多文件。 250 MB 不是很多数据，但 1,000,000 个文件是很多文件。如果减少文件数量，Athena 查询性能会显着提高，而压缩聚合文件会有所帮助。一天的分区需要多少个文件？即使使用一分钟的分辨率，您也需要少于 1,500 个文件。如果当前的查询时间约为 30 分钟，您可以轻松地从更短的时间开始。

有许多选项可用于汇总和压缩您的记录：

• AWS 的Kinesis Firehose 是解决此类问题的一种相当简单的方法。
• 像Apache NiFi 这样的流式数据处理工具将提供一组更丰富的转换、聚合和压缩选项。我写了一篇关于 using Apache NiFi to stream data to S3 for Athena 的博文，涵盖了同样的问题。