在 MongoDB 中插入数千条记录时快速添加相同的元数据？

Question

我想insert an array 将数千个对象放入一个 MongoDB 集合中。

db.col.insert(
   [
     { },
     { },
     { } // A couple of 1000s more
   ],
   {
       ordered : false,
       writeConcern : 0
   }
);

但是，我还想使用元数据来识别这些组。数组中的每条记录都需要分配一些数据，并且该数据对于数组中的所有记录都是相同的。

有没有一种方法可以插入所有文档，并为所有文档设置例如：

{
    dateTime : '111111111',
    groupId  : 'some hash',
    batchId  : 'other hash'
}

没有手动将其手动添加到数组中的数千条记录中？那将是一个很大的性能下降（而且很丑）。

我曾经将这些记录与元数据一起添加为一个数组：

{
    dateTime : '111111111',
    groupId  : 'some hash',
    batchId  : 'other hash',
    batchArr : [ array with thousands of records]
}

并在上面使用$unwind。但是，这不再可能，因为记录数开始超过 MongoDB 的16 MB BSON size limit。

Answer 1

这将是 Bulk API 操作的一个很好的候选者。有两种类型的批量操作：

• 有序批量操作。这些操作按顺序执行所有操作，并在第一次写入错误时出错。
• 无序批量操作。这些操作并行执行所有操作并聚合所有错误。无序批量操作不保证执行顺序。

考虑初始化一个 Bulk() 操作构建器并添加一系列插入操作以批量添加多个文档，从而简化您的性能：

var bulk = db.col.initializeOrderedBulkOp(),
    objectList = [{}, {}, ..., {}], // array with thousands of records 
    counter = 0,
    metadata = {
        dateTime : '111111111',
        groupId  : 'some hash',
        batchId  : 'other hash'
    };      

objectList.forEach(function(obj) {
    obj["dateTime"] = metadata.dateTime;
    obj["groupId"] = metadata.groupId;
    obj["batchId"] = metadata.batchId;

    bulk.insert(obj);
    counter++;

    if (counter % 500 == 0) {
        bulk.execute();             
        bulk = db.col.initializeOrderedBulkOp();            
    }
});

// Catch any under or over the 500's
if (counter % 500 != 0) {
    bulk.execute();
}