【问题标题】:Maximum number of partitions in hivehive 最大分区数
【发布时间】:2019-03-26 13:29:39
【问题描述】:

我的配置单元表中有 1500 个分区,但是在进行查询时,它花费的时间比预期的要多。 hive表最多可以创建多少个partition。

【问题讨论】:

  • 请详细描述您的问题。比如示例代码等

标签: hive bigdata hiveql hadoop2 hadoop-partitioning


【解决方案1】:

具有 RDBMS 元存储后端的当前 Hive 版本应该能够处理 10000+ 分区。

出于多种原因,社区正在放弃这种设计,转而将 HBase 用于元存储。跟随 https://issues.apache.org/jira/browse/HIVE-9452

整体设计文档可在此处获得:https://issues.apache.org/jira/secure/attachment/12697601/HBaseMetastoreApproach.pdf

猜你喜欢
  • 2016-10-01
  • 1970-01-01
  • 2018-08-05
  • 2014-04-17
  • 2020-07-27
  • 2019-07-29
  • 1970-01-01
  • 1970-01-01
  • 2014-09-06
相关资源
最近更新 更多