使用节点的本机 mongoDB 驱动程序流式查询结果答案

【问题标题】：Stream query results with the native mongoDB driver for node使用节点的本机 mongoDB 驱动程序流式查询结果
【发布时间】：2013-04-18 10:35:57
【问题描述】：

我在 mongoDB 集合中有 100,000 条记录，并尝试使用本机驱动程序在 node.js 应用程序中检索它们。

我按照MongoDB doc for CursorStream 中的示例进行操作，但出现错误：

RangeError: Maximum call stack size exceeded

在此错误之前，我得到了很多：

(node) warning: Recursive process.nextTick detected. This will break in the next version of node. Please use setImmediate for recursive deferral.

这是我的代码：

var query = {...};
var fields = {...};
var options = {
    // "limit": 10
    //"skip": 10,
    //"sort": title
}

var stream = myCollection.find(query, fields, options).stream();
//  stream.pause();
var results = [];
stream.on('data', function (item){
    results.push(item);
    stream.pause();
    // Restart the stream after 1 miliscecond
    setTimeout(function() {
        stream.resume();
    }, 1);
});

stream.on('close'.....

当我没有为“数据”事件定义侦听器时，也会发生错误。但如果在创建后立即暂停流，则不会发生。

mongod版本为v2.4.1 节点驱动版本为1.2.x

任何帮助/提示将不胜感激。

【问题讨论】：

标签： javascript node.js mongodb

【解决方案1】：

看起来问题是通过在光标流中设置批量大小来解决的：

var stream = myCollection.find(query, fields, options).batchSize(10000).stream();

【讨论】：

【解决方案2】：

您可能想尝试setImmediate 而不是 setTimeout，以确保可以刷新未完成的 IO 操作。另见https://github.com/ZJONSSON/streamz/issues/1

【讨论】：

感谢您的回复。它没有用。我注意到即使我将 Tiemout 设置为很大的值，例如X 秒（即保持流暂停 X 秒，恢复它并再次暂停 X 秒），它在第 101 次迭代时开始“递归”警告。
如果我设置了batchsize，问题就解决了。它也比暂停/恢复流快得多。我还不确定这是否有任何影响。 var stream = deviceCollection.find(查询、字段、选项).batchSize(10000).stream();