如何在 Mongoskin 中使用无序批量插入？

Question

我在使用 Mongoskin 在 Node 上执行批量插入 (MongoDB 2.6+) 时遇到问题。

var dbURI = urigoeshere;
var db = mongo.db(dbURI, {safe:true});
var bulk = db.collection('collection').initializeUnorderedBulkOp();

for (var i = 0; i < 200000; i++) {
    bulk.insert({number: i}, function() {
        console.log('bulk inserting: ', i);
    });
}

bulk.execute(function(err, result) {
    res.json('send response statement');
}); 

上面的代码给出了以下警告/错误：

(node) warning: possible EventEmitter memory leak detected. 51 listeners added. Use emitter.setMaxListeners() to increase limit.
TypeError: Object #<SkinClass> has no method 'execute'
(node) warning: possible EventEmitter memory leak detected. 51 listeners added. Use emitter.setMaxListeners() to increase limit.
TypeError: Object #<SkinClass> has no method 'execute'

是否可以使用 Mongoskin 执行无序批量操作？如果是这样，我做错了什么？

Answer 1

您可以这样做，但您需要更改调用约定以执行此操作，因为只有“回调”表单实际上会返回一个集合对象，可以从中调用 .initializeUnorderedBulkOp() 方法。您认为它的工作方式也存在一些用法差异：

var dbURI = urigoeshere;
var db = mongo.db(dbURI, {safe:true});
db.collection('collection',function(err,collection) {
    var bulk = collection.initializeUnorderedBulkOp();
    count = 0;

    for (var i = 0; i < 200000; i++) {
        bulk.insert({number: i});
        count++;

        if ( count % 1000 == 0 )
            bulk.execute(function(err,result) {
               // maybe do something with results
               bulk = collection.initializeUnorderedBulkOp(); // reset after execute
            });      

    });

    // If your loop was not a round divisor of 1000
    if ( count % 1000 != 0 )
        bulk.execute(function(err,result) {
          // maybe do something here
        });
});

因此，实际的“批量”方法本身不需要回调并且完全按照the documentation 中所示的方式工作。异常是.execute()，它实际上将语句发送到服务器。

虽然驱动程序会在某种程度上为您解决这个问题，但在调用 execute 之前排队太多操作可能不是一个好主意。这基本上是在内存中建立的，虽然驱动程序一次只能发送 1000 个批次（这是服务器限制，并且整个批次都在 16MB 以下），但您可能需要在这里进行更多控制，至少限制内存使用。

这是模测试的重点，但如果用于构建操作的内存和可能非常大的响应对象对您来说不是问题，那么您可以继续排队操作并调用.execute()一次。

“响应”的格式与BulkWriteResult 的文档中给出的格式相同。