在不超载内存的情况下修改大型 MongoDB 集合中的每个文档的最佳方法是什么？

Question

目前我正在运行这个任务：

var skip = 0;
var limit = 5;

gulp.task('add coordinates to visits', function(done) {

(function recurse() {

    Visit.find({})
        .skip(skip)
        .limit(limit)
        .populate('zone')

    .exec(function cb(err, visits) {
        if (err) {
            throw err;
        }
        if (visits.length === 0) {
            return;
        }

        async.each(visits, function iterateEvents(visit, next) {
            if (!visit.zone) {
                return next();
            } else if (!visit.coordinates.lat || !visit.coordinates.lng) {
                visit.coordinates = {
                    lat: visit.zone.geo.coordinates.lat,
                    lng: visit.zone.geo.coordinates.lng
                };
            }
            visit.save(next);

        }, function cb(err) {
            if (err) {
                throw err;
            }

            skip += limit;
            setTimeout(recurse, 1000);
        });

    });

})();

});

但我敢肯定，一定有比使用skip、limit、`setTimeout.是否有一些运行更新任务的 mongo 或 mongoose 方法？

Answer 1

根据我们在 cmets 中的对话，Mongoose 的 querystream 可能就是您想要的：

var stream = Visits.find().populate('zone').stream();

stream.on('data', function processDoc(visit) {
  var self = this;

  if (visit.zone && (!visit.coordinates.lat || !visit.coordinates.lng)) {
    self.pause();

    visit.update({
      coordinates: {
        lat: visit.zone.geo.coordinates.lat,
        lng: visit.zone.geo.coordinates.lng
      }
    }, function(err, result) {
      if (err) { console.log(err); };
      self.resume();
    });
  }
});

stream.on('error', function(err) {
  console.log('error', err);
});

stream.on('close', function() {
  console.log('closed');
});