为什么用 $out 聚合两个集合永远不会结束？ MongoDB

Question

好的，所以，我有两个系列。其中一个有 6M 文档，另一个有 25M 文档。我希望它们在一个新系列中：

集合 1 示例：

电影

 {"movieId" : "1", "name" : "Titanic"},
 {"movieId" : "2", "name" : "King Kong"}

集合 2 示例：

人物

{"characterId": "1", "movieId": "1", "characterName": "Name 1"},
{"characterId": "2", "movieId": "1", "characterName": "Name 2"},
{"characterId": "3", "movieId": "1", "characterName": "Name 3"}

所以我想要一个新的集合，例如：

{
  "movieId" : "1", 
  "name" : "Titanic", 
  "characters":[ *collection 2 here* ]
},
{
  "movieId" : "2", 
  "name" : "King Kong", 
  "characters":[]
}

我试过了：

db.Movie.aggregate([{ $lookup: { from: "Character",localField: "movieId", foreignField: "movieId", as: "characters" }},{ $out : "movie_characters" }])

但它永远不会结束 :(（我的意思是 10 小时后它仍在思考）如果我在没有 $out 的情况下执行它，它可能会在 10 分钟内显示结果。

我在 $out 上做错了吗？

感谢您的建议。

Answer 1

您在这里留下的主要内容是索引。

$lookup匹配外部字段时，MongoDB使用索引。

因此，使用以下方法在字符集合中创建索引：

db.Character.createIndex({ "movieId": 1 })

然后应用查找聚合

db.Movie.aggregate([
  {
    $lookup: {
      from: "Character",
      localField: "movieId", 
      foreignField: "movieId", 
      as: "characters" 
    }
  },
  { 
    $out : "movie_characters" 
  }
])

希望这会有所帮助:)

Answer 2

问题不仅在于单个index，还在于性能。我强烈建议您使用Cursors 处理像您这样的繁重查询。 (Check this answer for more info)

当您使用此查询时，您还会用所有文档“淹没”您的 RAM。所以使用游标肯定会对你有所帮助。

此外，在通过Explain 模式在生产环境中启动查询之前，请尝试使用Mongo Compass 测试您的查询，这将为您提供您需要知道的所有信息，尤其是您的查询需要多长时间执行，它使用什么索引，以及更多。