【发布时间】：2020-05-09 07:45:07
【问题描述】：
我正在考虑将S3 中的数据存储在ORC format 中，以便使用Athena 进行查询。
我想像这样对数据进行分区......
.../year=2019/month=7/
... 并按 id 进一步分桶数据（每个 id 每个月都会有多个记录，有很多 id）
我希望能够每天将新数据插入到这个结构中...我知道我不能使用来自 Athena 的 INSERT INTO 语句，因为不支持分桶表。
每天将数据插入这种结构的表中的最佳方法是什么？甚至可以处理分桶数据吗？
干杯
【问题讨论】：
标签： amazon-s3 amazon-athena orc