$SKIP 阶段包含所有以前的记录

Question

我有一组1.2M 文档，我正在使用pagination（每页25 个）列出它们。为此，我分别使用Aggregation Framework 和$sort->$skip->$limit->$project 阶段。一切正常，但$skip 的奇怪行为导致nReturned 文档具有很高的价值，因为我一直在浏览页面。

例如，假设 $limit => 25，第 1 页 => nReturned 25, Skip 0, Display 1-25，在第 2 页 => nReturned 50, Skip 25, Display 26-50，在第 3 页 => nReturned 75, Skip 50, Display 51-75 等等...和在第 LAST => @987654331 @

如果我访问最后几页，nReturned, totalDocsExamined and totalKeysExamined 将接近 120 万，因为我有很多记录。

查询

db.collection.aggregate([
{
    $sort : {
        date_added : -1
    }
},
{
    $skip : 50  
},
{
    $limit : 25
},
{
    $project : {
        luid : 1,
        name : 1
    }
}
])

我做错了什么还是有什么办法可以优化这个查询？

Answer 1

使用$skip 的内存效率非常低，如果要转到最后一页，则会跳过 120 万条记录。

你真的会在你的分页下显示第 10000 页还是会有 < 和 > 箭头？

更好的方法是使用最后一个键，例如以下记录。

{ 
   _id: 1
   _data: ...
},
{   
   _id: 2
   data: ...
}....

在第一页，我的最后一个键将是 25，第二页，我的最后一个键将是 50，或者例如62，如果我的键不按顺序（中间删除）。

这样我的分页就变得很简单了

Model.find({ _id: { $gt: last }}).limit(25).sort({ _id: 1 })

last 是在第 1 页中检索到的最后一个 id。

调用上一页就像将$gt切换到$lt并反转排序一样简单

提示：在大多数情况下，没有人会去选择页面，例如 100204，如果我们确实有这么多记录，我们通常会有搜索功能。

如果我们真的需要使用$skip，应该使用缓存层来缓存检索到的记录（例如使用redis），以防止重复调用相同的查询。