【问题标题】:How do I persist a high speed stream of positional information如何保持位置信息的高速流
【发布时间】:2014-03-03 12:31:11
【问题描述】:

我正在接收位置信息的高速流(最高 14 Mbps)(让我们将其简化为 (x, y, z, timestamp)。

存储这些数据后,我执行诸如检索有界 3D 空间内的点、检索时间范围内的点等操作。

我已经尝试使用 PostgreSQL + PostGIS 按时间段进行分片,但数据库无法处理负载。查询过去一小时内的所有点需要 10 多分钟。

我有一台服务器(IIRC 8 四核 2.0GHz CPU,32GB RAM)。我可以使用哪些解决方案/技术/技巧来快速持久化和查询数据?

如果我有不止一台服务器,那么理想的解决方案是什么?

谢谢!

【问题讨论】:

  • 如果“分片”是指分区,那么用最少的架构展示你是如何做到的。
  • 我按天对数据库表进行分区,所以我每天都有一个 (x,y,z,t) 表,例如表(20140214)、表(20140213)等
  • 14 Mbps 很多。我想除了按小时检查配置和分区之外,您无能为力。

标签: database postgresql stream bigdata throughput


【解决方案1】:

如果您还没有这样做,您可能想看看TSDB。它是为与您上面描述的非常相似的用例而开发的。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-04-17
    • 2011-05-04
    • 1970-01-01
    • 2011-02-13
    • 1970-01-01
    相关资源
    最近更新 更多