猫鼬全系列扫描

Question

我想扫描整个 mongo 集合并计算 custom 聚合。我正在使用带有猫鼬的节点。为了扫描整个表，我使用了MyModel.find({}, callback);

当我运行代码时，我发现 mongoose 执行查询并将所需的记录收集到一个数组中，然后简单地将整个数组传递给回调。现在在完整的集合扫描中需要大量时间。

难道不是我得到了一个游标对象，我可以从中迭代不断地将所需记录映射到某个回调，而不是等待一大堆被收集到数组中。 （这是我观察到的，如有错误请指正）。

另外，有人可以建议对自定义聚合进行完整的集合扫描是否正确，或者我应该查看map-reduce 或类似的替代方法。

Answer 1

您的第一个选择应该是使用aggregate 方法而不是find 来执行您想要执行的任何聚合。如果这不能满足您的需要，请查看 mapReduce，就像您提到的那样。

但是，如果您发现确实需要遍历一个大集合，您应该使用 Mongoose 对 streaming 的支持来获取查询结果，而不是将其放入一个大数组中。

var stream = MyModel.find().stream();

stream.on('data', function (doc) {
  // do something with the mongoose document
}).on('error', function (err) {
  // handle the error
}).on('close', function () {
  // the stream is closed
});