【问题标题】:Amazon Athena "ALTER TABLE ADD PARTITION returns wrong number of recordsAmazon Athena “ALTER TABLE ADD PARTITION 返回错误的记录数
【发布时间】:2018-03-19 12:38:18
【问题描述】:
我在 Amazon Athena 中运行此命令:
ALTER TABLE table_name ADD PARTITION (dt='2018-03-01')
location 's3://my_data/my_folder/
然后我统计结果:
SELECT count(1) from table_name;
但是,它返回错误的记录数。
【问题讨论】:
标签:
amazon-web-services
amazon-athena
【解决方案1】:
您需要深入研究数据以找出发生这种情况的原因。可能是因为有些数据的字符不好,也可能是导入了标题行。
试着找出一些丢失的数据(我猜这个数量比你预期的要少?),然后查看源文件中的数据找出为什么没有正确加载。
一旦找到未加载的负载,您甚至可以将其放入单独的文件并尝试对其进行一些查询以缩小原因。