在哪里可以找到 Athena 的机器可读查询日志？

Question

我面临的问题是，我的 AWS 成本报告显示 Athena 查询使用的数据比我预期的要多。在 AWS 控制台（Web UI）中，有一个可用的 Athena 历史记录显示扫描的数据。见截图：

我希望能够在更长的时间内访问此查询信息，以分析和优化我的 Athena 使用情况。如果需要，我也可以启用一些日志记录或监控服务。

我在哪里可以得到这个查询日志？

Answer 1

我建议使用 AWS SDK，例如boto3 python 库。特别是需要结合

• list_query_execution
• get_query_execution

下面是一个简单的示例，您的脚本可能如下所示：

import boto3


client = boto3.client('athena')

response = client.list_query_executions()

for query_id in response['QueryExecutionIds']:
    query_execution_response = client.get_query_execution(
        QueryExecutionId=query_id
    )

    query_string = query_execution_response['QueryExecution']['Query']
    query_exec_stats = query_execution_response['QueryExecution']['Statistics']
    query_data_scanned = query_exec_stats['DataScannedInBytes']
    query_exec_time = query_exec_stats['TotalExecutionTimeInMillis']

    print(f"=> Query id: {query_id}")
    print(f"Executed SQL statement: {query_string}")
    print(f"Total execution time: {query_exec_time}")
    print(f"Total data scanned: {query_data_scanned}")

请注意，如果您运行了很多不同的查询，那么您最好使用paginator。