获得以下结果的优化查询可以是什么[关闭]

Question

我有两张桌子：

1. 职位
2. 设备

i 位置表中的数百万条数据。我与设备和位置有一对多的关系。任何设备都有很多位置。

位置表的属性是 id、deviceid、servertime、latitude、longitude、attributes

位置表的数据样本是

`3127557`, `2`, `'2019-08-08 09:00:16'`, `27.72634`, `85.303055`, `'{\"ignition\":false,\"status\":4294949887,\"io1\":\"429\",\"io2\":\"02\",\"io3\":\"00104\",\"io4\":\"33312\",\"distance\":1.98,\"totalDistance\":1215137.92,\"motion\":true}'`;


┌─────────┬──────────┬─────────────────────┬──────────┬───────────┬─────────────────────────────────────────────┐
│   id    │ deviceid │     servertime      │ latitude │ longitude │                 attributes                  │
├─────────┼──────────┼─────────────────────┼──────────┼───────────┼─────────────────────────────────────────────┤
│ 3127557 │        2 │ 2019-08-08 09:00:16 │ 27.72634 │ 85.303055 │ "ignition":FALSE, "status":4294949887,      │
│         │          │                     │          │           │ "io1": "429", "io2": "02", "io3": "00104",  │
│         │          │                     │          │           │ "io4": "33312", "distance":1.98,            │
│         │          │                     │          │           │ "totalDistance":1215137.92, "motion":TRUE   │
└─────────┴──────────┴─────────────────────┴──────────┴───────────┴─────────────────────────────────────────────┘

附加信息：我在 json 格式的属性列中有 totalDistance 索引，每次添加新位置时都会增加。

现在我需要检索在特定日期间隔（例如 2018-08-23 到 2018-08-30 之间）之间的巴士行驶距离的每日报告。

select deviceid, min(id), max(date(id) from posiotins
    where deviceid in [2,3,6]
    group by date(servetime)

将这些 id 保存在数组 ids[] 和

再次Select * from postions where ids in [ids] order by deviceid, id

然后我从连续的第 2 个值减去第一个值的总距离，以获得每日行驶距离报告

Answer 1

您遇到了缩放问题。你越早解决它越好。 现在有数百万行，但它正朝着十亿行进，对吗？

一个简单但部分的解决方法是添加第三个表，该表是每晚大约午夜时分的每辆车的数据。一种简单的方法是在摄取期间记录每辆车午夜后的第一个数据点。

什么计算“总距离”？它闻起来像里程表。如果是这样，它非常简单地由车辆提供。相反，如果您要为每条传入的记录添加它，那么...

• 您需要多久更新一次？每天会更有效率。实时更新变得更加复杂和昂贵。
• 你是根据什么计算它的？车辆是否提供增量距离？还是您使用 lat/lng 进行计算？

我提到的第三个表可能应该将total_distance 作为一列，而不是隐藏在 JSON 中。和/或它应该有distance_for_the_day。

想想最终的查询——“这辆车在过去一周里跑了多远”。看看新表会变得多么简单和快捷。