Amazon Athena 无法从分区读取数据

【问题标题】：Amazon Athena not able to read data from partitionAmazon Athena 无法从分区读取数据
【发布时间】：2018-05-28 07:38:24
【问题描述】：

我正在雅典娜的分区上工作。我在 s3 中有一个目录，其中放置了日期明智的文件。我正在尝试创建一个日期分区表并将每个分区的位置设置为该日期的文件。虽然分区的设置位置查询运行成功，但我无法通过选择查询看到该分区中的数据。

执行以下查询后，我可以看到数据： alter table tbl_name partition (date='2018-05-28') set location 's3://bucket_name//test/' 但不是在执行此操作后： alter table tbl_name partition (date='2018-05-28') set location 's3://bucket_name//test/test.csv'

因此，如果我将位置设置为目录，则它可以选择数据，但在将位置设置为文件时则不能。但我需要将分区的位置设置为文件名。这在 Hive 中运行良好。需要雅典娜的帮助。

【问题讨论】：

标签： amazon-athena

【解决方案1】：

如果你有这样的文件夹结构，

S3://bucket/myfodler/logs/2018/04/02/file1.csv
S3://bucket/myfodler/logs/2018/04/02/file2.csv
S3://bucket/myfodler/logs/2018/04/03/file1.csv
S3://bucket/myfodler/logs/2018/04/03/file2.csv

然后你就可以创建分区了，

ALTER TABLE table_name ADD
  PARTITION (YEAR = '2018', MONTH='04', day='02') LOCATION 'S3://bucket/myfodler/logs/2018/04/02'

在你的情况下，

s3://bucket_name//test/test.csv - 不是创建分区的正确结构。

如果您共享您的 s3 文件夹结构，那么我可以尝试在这方面为您提供帮助。

有关 Athena 分区的更多信息：Read Here

【讨论】：