使用 Geo 的大数据存储，用于频繁更新

Question

我必须为我的项目选择一个大数据存储

它必须包括地理（纬度、经度和一些基于此的计算，例如到指定位置的距离）。

数据会经常更新。我计划每分钟更新大约 20k-80k 个对象。它将总共存储大约 500k 个对象。每分钟我都会收到一组约 50k 的 XML 对象。我需要解析它并更新现有的并添加新的。

所有对象都将是唯一的，基于特定的字段。 一段时间后，我将不得不添加存储历史数据（每个对象 3 周前，每分钟更新一次）。

您建议使用哪种存储方式？我正在考虑 aws redis 或 mongodb。我担心 ppstgresql 不会成功。

我的项目是用 Django 制作的，将使用 Celery 触发处理

感谢您的任何建议。

Answer 1

您可以将Accumulo 与GeoMesa 插件一起使用。

本网站可帮助您了解如何配置和使用它。我在处理大型空间数据时尝试过，当时效果很好。

我使用 Cloudera 堆栈配置了 Accumulo，因为它使配置 Accumulo 变得简单，但您可以独立安装它。