【发布时间】:2019-03-26 13:29:39
【问题描述】:
我的配置单元表中有 1500 个分区,但是在进行查询时,它花费的时间比预期的要多。 hive表最多可以创建多少个partition。
【问题讨论】:
-
请详细描述您的问题。比如示例代码等
标签: hive bigdata hiveql hadoop2 hadoop-partitioning
我的配置单元表中有 1500 个分区,但是在进行查询时,它花费的时间比预期的要多。 hive表最多可以创建多少个partition。
【问题讨论】:
标签: hive bigdata hiveql hadoop2 hadoop-partitioning
具有 RDBMS 元存储后端的当前 Hive 版本应该能够处理 10000+ 分区。
出于多种原因,社区正在放弃这种设计,转而将 HBase 用于元存储。跟随 https://issues.apache.org/jira/browse/HIVE-9452 。
整体设计文档可在此处获得:https://issues.apache.org/jira/secure/attachment/12697601/HBaseMetastoreApproach.pdf