AWS Athena 附带 Athena 联合查询答案

【问题标题】：AWS Athena comes with Athena Federated QueryAWS Athena 附带 Athena 联合查询
【发布时间】：2020-09-12 02:20:39
【问题描述】：

我正在浏览 AWS Athena 联合查询页面，并了解到“您可以使用 Athena 联合查询（预览版）来查询数据或构建从多个数据源中提取数据的管道并将它们存储在 Amazon S3 中。”

如果我在 AWS 账户之外有大量数据，我还需要将数据传输到 S3，以便在 Athena 中使用？

请大家分享你的经验？谢谢

【问题讨论】：

【解决方案1】：

如果我在 AWS 账户之外有大量数据，我仍然需要将数据传输到 S3，以便我可以在 Athena 中使用它吗？

不，您无需将数据传输到 S3 即可使用 Athena Federated Query 进行查询。您可以连接外部资源并查询它们。但是，您查询的结果将始终保存在 S3 上。

这使得从外部源提取、传输和加载数据到 S3 的方法相对简单（例如，如果您想将其用于 AWS 中的其他服务）。

使用 Athena 联合查询，不再需要构建复杂的 ETL 工作流程。只需查询您的外部数据源，数据就在 S3 中。

【讨论】：

【解决方案2】：

Athena 支持其他来源。 Amazon 提供了这些data source connectors 的列表，并附有文档，说明如何实现每个。

值得一提的是，如果您希望 Athena 在互联网上传输数据时具有高性能/安全性，这将面临挑战。

【讨论】：

【解决方案3】：

不需要将数据传输到 S3。例如，您可以直接使用 Lambda 连接器查询 DynamoDB 中的数据，该连接器可以从 AWS 中使用。

这里值得一提的是，Athena 超时为 30 分钟，但如果您要使用一些使用 Lambda 的连接器，请记住 Lambda 的最大超时为 15 分钟。

【讨论】：