MongoDB：通过拆分id进行聚合和分组

Question

我的架构实现受到本教程on official mongo site的影响

{  
  _id: String,
  data:[
        {
         point_1: Number,
         ts: Date
        }
  ]
}

这基本上是为时间序列数据设计的模式，我将每个设备每小时的数据存储在单个文档的数组中。我创建了_id 字段组合设备ID，它正在发送数据和时间。例如，如果 ID 为xyz1234 的设备在2018-09-11 12:30:00 发送数据，那么我的_id 字段将变为xyz1234:2018091112。

如果该设备的那个小时的文档不存在，我将创建新文档，否则我只是将我的数据推送到 data 数组。

client.db('iot')
.collection('iotdata')
.update({_id:id},{$push:{data:{point_1,ts:date}}},{upsert:true});

现在我在进行聚合时遇到问题。我正在尝试获取这些类型的值

• 过去 24 小时内许多设备的最小 point_1 值（按设备 ID 分组）
• 过去 24 小时内许多设备的最大 point_1 值（按设备 ID 分组）
• 过去 24 小时内许多设备的平均 point_1 按设备 ID 分组

我认为这是非常简单的聚合，然后我意识到设备 ID 不是直接的，而是与时间数据混合在一起，因此按设备 ID 对数据进行分组并不是那么直接。如何根据设备 ID 拆分 _id 和组？我已尽力将问题写得尽可能清楚，如果问题的任何部分不清楚，请在 cmets 中提问。

Answer 1

您可以从数据上的$unwind 开始，以获取每个条目的单个文档。然后您可以使用$substr 和$indexOfBytes 运算符获得deviceId。然后你可以应用你的过滤条件（最后24小时）并使用$group得到min、max和avg

db.col.aggregate([
    {
        $unwind: "$data"
    },
    {
        $project: {
            point_1: "$data.point_1",
            deviceId: { $substr: [ "$_id", 0, { $indexOfBytes: [ "$_id", ":" ] } ] },
            dateTime: "$data.ts"
        }
    },
    {
        $match: {
            dateTime: { $gte: ISODate("2018-09-10T12:00:00Z") }
        }
    },
    {
        $group: {
            _id: "$deviceId",
            min: { $min: "$point_1" },
            max: { $max: "$point_1" },
            avg: { $avg: "$point_1" }
        }
    }
])

Answer 2

您可以在 3.6 中使用以下查询。

db.colname.aggregate([
  {"$project":{
    "deviceandtime":{"$split":["$_id", ":"]},
    "minpoint":{"$min":"$data.point_1"},
    "maxpoint":{"$min":"$data.point_1"},
    "sumpoint":{"$sum":"$data.point_1"},
    "count":{"$size":"$data.point_1"}
  }},
  {"$match":{"$expr":{"$gte":[{"$arrayElemAt":["$deviceandtime",1]},"2018-09-10 00:00:00"]}}},
  {"$group":{
    "_id":{"$arrayElemAt":["$deviceandtime",0]},
    "minpoint":{"$min":"$minpoint"},
    "maxpoint":{"$max":"$maxpoint"},
    "sumpoint":{"$sum":"$sumpoint"},
    "countpoint":{"$sum":"$count"}
  }},
  {"$project":{
    "minpoint":1,
    "maxpoint":1,
    "avgpoint":{"$divide":["$sumpoint","$countpoint"]}
  }}
])