聚合：每小时计数项目答案

【问题标题】：Aggregation: Counting Items Per Hour聚合：每小时计数项目
【发布时间】：2013-02-22 10:19:22
【问题描述】：

我想知道是否有人可以帮助我正确设置聚合函数。我试图计算一段文本在指定日期每小时出现的次数。到目前为止，我得到了：

db.daily_data.aggregate(
  [
    { $project : { useragent: 1, datetime: 1, url: 1, hour: {$hour: new Date("$datetime")} } },
    { $match : { datetime: {$gte: 1361318400000, $lt: 1361404800000}, useragent: /.*LinkCheck by Siteimprove.*/i } },
    { $group : { _id : { useragent: "$useragent", hour: "$hour" }, queriesPerUseragent: {$sum: 1} } }
  ]
);

但我显然弄错了，因为小时总是 0：

{
  "result" : [
    {
      "_id" : {
        "useragent" : "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.0) LinkCheck by Siteimprove.com",
        "hour" : 0
      },
      "queriesPerUseragent" : 94215
    }
  ],
  "ok" : 1
}

这也是一个精简的记录示例：

{
  "_id" : ObjectId("50fe63c70266a712e8663725"),
  "useragent" : "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.0) LinkCheck by Siteimprove.com",
  "datetime" : NumberLong("1358848954813"),
  "url" : "http://www.somewhere.com"
}

我也尝试使用new Date("$datetime").getHours() 而不是$hour 函数来尝试获得相同的结果，但没有运气。有人可以指出我出错的方向吗？

谢谢！

【问题讨论】：

$hour 函数假定您具有 ISODate() 或 Date() 格式，并且在 agg 框架中还没有可用的日期格式转换（尽管有 jira 票证）。

标签： mongodb aggregation-framework

【解决方案1】：

这是一个建议，而不是您的问题的答案。

在用于分析的 MongoDB 上，建议为您要计算的每个指标预先聚合您的存储桶（在您的用例中为每小时存储桶）。

因此，对于您的指标，您可以更新预聚合集合（加快查询时间）：

db.user_agent_hourly.update({url: "your_url", useragent: "your user agent", hour: current_HOUR_of_DAY, date: current_DAY_Date}, {$inc: {counter:1}}, {upsert:true})

考虑到在current_DAY_Date 中，您必须指向当天的稳定日期值，即 current_year/current_month/current_day 00:00:00 ，对收到的每个指标使用相同的小时:分钟:秒当天。

然后，您可以查询此集合，提取任何给定时间段的聚合分析，如下所示：

 db.user_agent_hourly.aggregate(
    {$match:{date:{$gte: INITIAL_DATE, $lt: FINAL_DATE}}},
    {$group:{ _id : { useragent: "$useragent", hour: "$hour" } ,queriesPerUseragent: {$sum: "$count"} } },
    {$sort:{queriesPerUseragent:-1}}
 )

如果要使用特定的用户代理过滤结果，可以使用下一个查询：

 db.user_agent_hourly.aggregate(
    {$match:{date:{$gte: INITIAL_DATE, $lt: FINAL_DATE, useragent: "your_user_agent"}}},
    {$group:{ _id : { useragent: "$useragent", hour: "$hour" }, queriesPerUseragent: {$sum: "$count"} } }
 )

PS：我们将每个收到的指标存储在其他集合中，以便在发生灾难或其他需要时能够重新处理。

【讨论】：