【发布时间】:2019-11-08 18:39:13
【问题描述】:
我将 parquet 数据存储在 S3 上,以 Hive 理解的格式进行分区
s3://<base_path>/year=2019/month=11/day=08/files.pq
表架构还将year, month, day 指定为分区字段。
是否可以将查询,特别是日期的LIKE, IN, BETWEEN 与这种数据组织进行比较? AWS Athena best practices 博客似乎暗示了它的可能(SELECT count(*) FROM lineitem WHERE l_shipdate >= '1996-09-01' AND l_shipdate < '1996-10-01'),但我无法弄清楚如何在表创建期间或查询期间指定复合字段(查询中的l_shipdate)。
【问题讨论】:
标签: hive presto amazon-athena