【发布时间】:2014-01-11 06:58:04
【问题描述】:
在当前场景中,我有一个 Rtree 实例,我在其中添加了数百万条记录,创建过程大约需要 1 小时。我想知道是否可以使用多个映射器来创建多个 RTree,然后将它们合并到 reducer 中以创建最终的 RTree?是否有特定的合并 Rtree 技术可用?我应该如何解决这个问题?任何帮助都非常感谢?
【问题讨论】:
标签: hadoop map spatial reduce r-tree
在当前场景中,我有一个 Rtree 实例,我在其中添加了数百万条记录,创建过程大约需要 1 小时。我想知道是否可以使用多个映射器来创建多个 RTree,然后将它们合并到 reducer 中以创建最终的 RTree?是否有特定的合并 Rtree 技术可用?我应该如何解决这个问题?任何帮助都非常感谢?
【问题讨论】:
标签: hadoop map spatial reduce r-tree
您是否考虑过批量加载索引?常见的批量加载策略基于排序,这很好理解如何以分布式、可扩展的方式进行。这样,我在几秒钟内就构建了包含数百万条记录的 R-tree。
【讨论】: