Athena 查询不返回比创建表更新的任何结果

Question

在 the formal instructions for querying CloudFront access logs using Athena 之后，我在 Athena 中创建了一个名为 default.cloudfront_logs 的表，它指向我在 S3 中的路径，我的 CloudFront 分配的访问日志正在其中写入：

CREATE EXTERNAL TABLE `cloudfront_logs`( <fields here> )
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.RegexSerDe' 
WITH SERDEPROPERTIES ( 
  'input.regex'='^(?!#)([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)\\s+([^ \\t]+)$') 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://mybucket/examplecom'
TBLPROPERTIES (
  'transient_lastDdlTime'='1520796451')

然后我验证了一个查询返回数据：

SELECT date, count(*)
FROM cloudfront_logs
order by date
group by date;

但是，在创建表后的几天内，我的查询中没有出现更新的数据，尽管我的 S3 存储桶中出现了更多的访问日志文件（用于后续日期）。

我已尝试删除并重新创建表，但查询仍然返回相同的结果（在原始 Athena 表创建后没有更新的访问日志数据）。

为什么在 S3 中出现的较新数据没有出现在我的 Athena 查询结果中？

Answer 1

如果您的数据被划分为子目录，那么 Athena 可能不知道新创建的目录。

使用MSCK REPAIR TABLE 扫描分区：

MSCK REPAIR TABLE cloudfront_logs;

然后，再次运行您的查询。

每当文件夹结构发生变化时，这都是必需的。