AWS Athena - 当您将新文件添加到 S3 文件夹时会发生什么

Question

我有一个示例工作，我将文件放在 S3 中。 我感到困惑的是，当我将新的 CSV 文件（格式相同）添加到该文件夹​​时会发生什么。

它们在查询中是否立即可用？还是您必须运行 Glue 或其他东西来处理它们？例如，如果设置一个 Lambda 函数以每小时甚至每 5 分钟提取一个新的 CSV 到同一个 S3 目录。

Athena 是否真的将数据加载到某个数据库中以进行快速执行查询？

Answer 1

如果您的表未分区或将文件添加到现有分区，则数据将立即可用。

但是，如果您不断添加文件，您可能需要考虑对表进行分区以优化查询性能，请参阅：

• Table Location in Amazon S3
• Partitioning Data

Athena 本身没有任何缓存，任何查询都会命中表的 S3 位置。