MongoDB：与基本查找相比，性能管道查找速度慢

Question

我有两个收藏：

matches:

[{
    date: "2020-02-15T17:00:00Z",    
    players: [
      {_id: "5efd9485aba4e3d01942a2ce"}, 
      {_id: "5efd9485aba4e3d01942a2cf"}
    ]        
},
{...}] 

和players:

 [{    
     _id: "5efd9485aba4e3d01942a2ce", 
     name: "Rafa Nadal"   
 },
 {    
     _id: "5efd9485aba4e3d01942a2ce", 
     name: "Roger Federer"   
 },
 {...}]  

我需要使用查找管道，因为我正在构建一个带有递归函数的 graphql 解析器，并且我需要嵌套查找。我已经按照这个例子https://docs.mongodb.com/datalake/reference/pipeline/lookup-stage#nested-example

我的问题是管道查找需要 11 秒，但基本查找只需 0.67 秒。而且我的测试数据库很短！大约 1300 名玩家和 700 场比赛。

这是我的管道查找（11 秒解决）

db.collection('matches').aggregate([{
   $lookup: {
      from: 'players',
      let: { ids: '$players' },            
      pipeline: [{ $match: { $expr: { $in: ['$_id', '$$ids' ] } } }],
      as: 'players'
   }
}]);

这是我的基本查找（0.67 秒解决）

db.collection('matches').aggregate([{
   $lookup: {
     from: "players",
     localField: "players",
     foreignField: "_id",
     as: "players"
   }
}]);

为什么差别这么大？我可以通过什么方式进行更快的管道查找？

Answer 1

作为@namar sood cmets，有几张票证提到了这个问题：

https://jira.mongodb.org/browse/SERVER-37470

https://jira.mongodb.org/browse/SERVER-32549

同时解决方案可以是（也可以嵌套）：

db.collection('matches').aggregate([
  { $unwind: '$players' },
  {
   $lookup: {
      from: 'players',
      let: { id: '$players' },            
      pipeline: [{ $match: { $expr: { $eq: ['$_id', '$$id' ] } } }],
      as: 'players'
  },
  { $unwind: '$players' },
  {
    $group: {
       "_id": "$_id",        
       "data": { "$first": "$$ROOT" },
       "players": {$push: "$players"}        
    }
  },
  { $addFields: {"data.players": "$players"} },
  { $replaceRoot: { newRoot: "$data" }}
]);

Answer 2

问题是，当您使用带有匹配阶段的pipeline 执行lookup 时，索引将仅用于与$eq operator 匹配的字段，而其余索引将不被使用。

您使用管道指定的示例将像这样工作（此处不再使用索引，因为它不是 $eq）

db.matches.aggregate([
  {
    $lookup: {
      from: "players",
      let: {
        ids: {
          $map: {
            input: "$players",
            in: "$$this._id"
          }
        }
      },
      pipeline: [
        {
          $match: {
            $expr: {
              $in: [
                "$_id",
                "$$ids"
              ]
            }
          }
        }
      ],
      as: "players"
    }
  }
])

因为 player 是一个对象数组，所以需要先映射到 ids 数组

MongoDB Playground