使用 Lambda 在 Athena 上运行大查询

Question

我们知道 Lambda 会在执行 15 分钟后超时。我正在寻找一种方法来执行一个非常庞大的数据集上的 Athena 查询。从 Lambda 调用查询会引入 Lambda 在查询处理之前超时的问题。我的最终目标是调用查询并知道查询何时完成，以便处理结果。可以使用状态机查询 Athena 吗？或者 Lambda 是否仅通过调用 athena 而不是等待结果来运行，我将在我希望查询运行的持续时间之后查询 athena 以获取结果？任何其他想法将不胜感激。

Answer 1

使用 Athena，您可以发起一个查询，结果会返回一个唯一的 Athena 查询执行 ID。 Athena 异步执行查询。 Athena 最终将查询结果存储在 S3 中。您可以稍后通过传递原始查询执行 ID 进行第二次 API 调用来检索这些结果。

见Working with Query Results, Output Files, and Query History。