Redshift Spectrum 比 Athena 慢很多？

Question

我们的数据以 JSON 格式存储在 S3 中，没有分区。直到今天我们只使用 athena，但现在我们尝试了 Redshift Spectrum。

我们两次运行相同的查询。 一次使用 Redshift Spectrum，一次使用 Athena。两者都连接到 S3 中的相同数据。

使用 Redshift Spectrum 需要很长时间（超过 15 分钟）才能运行此报告，而使用 Athena 只需 10 秒即可运行。

我们在 aws 控制台中在两种情况下运行的查询是这样的：

SELECT "events"."persistentid" AS "persistentid",
  SUM(1) AS "sum_number_of_reco"
FROM "analytics"."events" "events"
GROUP BY "events"."persistentid"

知道发生了什么吗？ 谢谢

Answer 1

Redshift Spectrum 处理能力受 Redshift 集群大小的限制。

您可以从Improving Amazon Redshift Spectrum Query Performance找到信息

Amazon Redshift 查询计划器推送谓词和聚合 尽可能转移到 Redshift Spectrum 查询层。大的时候 从 Amazon S3 返回的数据量，处理是有限的 由集群的资源决定。 Redshift Spectrum 自动扩展至 处理大型请求。因此，您的整体表现会提高 只要您可以将处理推送到 Redshift Spectrum 层。

另一方面，Athena 为查询使用优化的资源量，这可能比小型 Redshift 集群的 Spectrum 所能获得的还多。

我们对不同 Redshift 集群大小的 Redshift Spectrum 性能进行的测试证实了这一点。