MongoDB、Node 和 Express 返回所有不存在于具有大量数据的单独集合中的集合

Question

为了这个，我已经把头发拔了好几个星期了。

我有一个收藏（这是精简版）：

const SubscriberSchema = new Schema({
  publication: { type: Schema.Types.ObjectId, ref: "publicationcollection" },
  buyer: { type: Schema.Types.ObjectId, ref: "buyercollection" },
  postCode: { type: String },
  modifiedBy: { type: String },
  modified: { type: Date }
});

我还有一个包含 175 万个英国邮政编码的集合

const PostcodeSchema = new Schema({
  postcode: { type: String }
});

我想要做的是返回订阅者集合中不存在于 Postcode 集合中的任何记录。

当我尝试使用 Mongoose 对订阅者集合中任何 >100 条记录进行非常简单的聚合时，我遇到超时或 >16MB 返回错误。

这是我迄今为止尝试过的：

router.get(
  "/badpostcodes/:id",
  passport.authenticate("jwt", { session: false }),
  (req, res) => {
    const errors = {};
    Subscriber.aggregate([
      {
        $match: {
          publication: mongoose.Types.ObjectId(req.params.id),
          postCode: { "$ne": null, $exists: true }
        }
      },
      {
        $lookup: {
          'from': 'postcodescollections',
          'localField': 'postCode',
          'foreignField': 'postcode',
          'as': 'founditem'
        }
      },
      // {
      //   $unwind: '$founditem'
      // },
      {
        $match: {
          'founditem': { $eq: [] }
        }
      }
    ], function (err, result) {
      if (err) {
        console.log(err);
      } else {
        if (result.length > 0) {
          res.json(result);
        } else {
          res.json("0");
        }
      }
    })
  }
);

unwind 似乎没有做任何事情，但它被注释掉以表明我尝试使用它。

我也尝试过在查找上使用管道，但没有奏效，类似于以下内容（抱歉，我没有尝试原始代码，所以这仅来自内存）：

        $lookup: {
          'from': 'postcodescollections',
          'let': { 'postcode': "$postCode" },
          'pipeline': [
            {
              '$match': {
                'postcode': { $exists: false }
              }
            },
            {
              '$unwind': "$postCode"
            }
          ],
          'as': 'founditem'
        }

提前谢谢，希望我能留住一些头发！

Answer 1

您正在对所有不匹配的邮政编码进行匹配，然后展开这些 - 这将是每个订阅者的 175 万份文档！我认为$lookup 中的语法也不正确。

我认为您可以尝试以下方法 - 针对您的数据进行相应调整：

执行$lookup 以在邮政编码中查找匹配的邮政编码，然后执行匹配以过滤那些没有任何founditem 元素的订阅者："founditem.0": {$exists: false}

看一个例子：

db.getCollection("subscribers").aggregate(
    [
        // Stage 1
        {
            $match: {
                postCode: { "$ne": null, $exists: true }
            }
        },

        // Stage 2
        {
            $project: { 
                _id: 1,
                postCode: 1
            }
        },

        // Stage 3
        {
            $lookup: {
                      from: "postcodescollections",
                      let: { p: "$postCode" },
                      pipeline: [
                        {
                          $match: {
                              $expr:
                                {
                                    $eq: ["$$p","$postcode"] }
                              }

                        },
                        { $project: { _id: 1 } }
                      ],
                      as: "founditem"
                    }
        },

        // Stage 4
        {
            $match: {
                "founditem.0": {$exists: false}
            }
        },

    ]
);