MongoDB聚合忽略索引顺序

Question

为了从 MongoDB 中选择 100 个最新文档，其中每个文档由同一集合中具有相似字段的多个文档组成（在本例中为 timestamp），我使用以下系列查询Node.js:

        return q.ninvoke(collection, 'aggregate',
            [
                {
                    $match  : { active: true }
                },
                {
                    $limit  : 100
                },
                {
                    $group  : {
                        _id         : "$timestamp",
                        mintime : {
                            $min        : "$seconds"
                        },
                        timestamp   : {
                            $first      : "$timestamp"
                        },
                        data        : {
                            $first      : "$data"
                        }
                    }
                }
            ]);

当集合中的文档少于$limit 时，这可以正常工作。当有更多时，它会选择最旧的文档（首先插入），而不是具有最高 timestamp 的文档（通常但不总是最后插入的文档）。

这是出乎意料的，因为文档被插入到具有以下确保索引的集合中：

collection.ensureIndex({
    timestamp   : -1,
    seconds     : -1,
    active      : -1
}, {
    sparse : false
});

我的印象是timestamp 上的第一个索引-1 意味着它们按降序索引，导致集合中第一个$limit 文档始终是具有最高timestamp 的文档.

为什么这不能按预期工作？
我错了吗？

Answer 1

实际上你真正的问题是没有选择索引。您可以通过 db.runCommand 调用聚合形式的 explain 选项（在 MongoDB 2.6 中或实际上在 MongoDB 2.4.9 中可用，但未记录）来检查这一点。

在 MongoDB 中，非常在匹配first时指定您希望在索引中使用的字段非常重要。所以一个索引定义为：

collection.ensureIndex({ "active": 1 })

在这种情况下，即使使用-1 也会被选中。您的索引没有，因为您没有引用任何其他字段。

这可以强制更大的选择，当优化器认识到这将是 最佳 情况时，但在当前 2.6 版本中这实际上似乎是broken（直到固定）。

附录：因此可能会涉及到“排序”组件，但这更多是关于您如何再次指定复合索引。为确保您的“时间戳”值符合分组边界的顺序，请确保将其包含在初始选择器之后，如下所示：

collection.ensureIndex({ "active": -1, "timestamp": -1 })

按照您要求的顺序。

Answer 2

补充@NeilLunn给出的一个非常重要的答案：

我不知道技术细节，但即使是正确的语句也可以始终从索引中选择错误的文档如果您的磁盘空间“低”。 Mongo 甚至可能不会抱怨这一点，它会只是选择了错误的文件。

尽管 MongoDB 将创建四个每个 1 GB 的稀疏文件，但如果可用空间下降到 1 GB 以下，Mongo 仍然会阻塞。

如果发生这种情况，请释放至少 2 GB 并对数据进行碎片整理：

• /etc/init.d/mongodb 停止

• mongod --repair

• /etc/init.d/mongodb start

根据经验，我会说：始终保持至少 2̶G̶B̶ 2 + 4 = 6GB 可用空间。