【问题标题】:How Geomesa overcome HBase hotspotting problem for spatial indexesGeomesa 如何克服空间索引的 HBase 热点问题
【发布时间】:2019-06-13 20:28:50
【问题描述】:

Geomesa 如何解决空间填充曲线中常见的时空数据热点问题?

我阅读了以下文档但无法理解什么是条带化?以及它如何提供帮助。

http://www.eclipse.org/community/eclipse_newsletter/2014/march/article3.php

【问题讨论】:

    标签: hbase geomesa


    【解决方案1】:

    那篇文章已经过时了。目前,GeoMesa 通过为每一行添加一个分片前缀来缓解热点,这确保了一些数据将分布在不同的表区域中。有关配置分片的详细信息,请参阅 herehere

    如果您事先知道自己的数据分布,GeoMesa 支持自定义索引表pre-splitting,可用于彻底消除热点。

    在所有情况下,通过HBaseAccumulo 中的自动表拆分进一步缓解了热点问题。区域将根据大小进行分割,因此特征密集的区域一旦达到阈值就会自动分割。

    【讨论】:

    • 附加分片前缀是如何工作的?假设我用 10 个碎片(一个随机数)的整个 OSM(开放街道地图)数据初始化了 Geomesa,但我收到的大部分 BBOX 读取请求属于像纽约这样的城市。我会遇到热点问题吗?
    • 如果您使用 10 个分片,那么您的查询将到达至少 10 个区域,因此应尽量减少热点。
    猜你喜欢
    • 2019-08-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-05-03
    • 1970-01-01
    • 2018-07-09
    • 1970-01-01
    相关资源
    最近更新 更多