在 Replicaset 上批量插入 MongoDB

Question

我正在将数据从 SQL 导入到 MongoDB

我在 SQL 中有一个包含 3081583 条记录的表，我开始在 foreach 循环中将这些记录插入 MongoDB

它在 05-06-2014 07:42:27 3081583 记录开始插入，并且仍在运行。

我使用 C# 驱动程序连接到 MongoDB

private static MongoDatabase ConnectionOne(string dbName = "test")
{
    var connectionString = "mongodb://username$passwordx.x.x.x:27018"
        + "/admin?slaveOk=true";

    var client = new MongoClient(connectionString);

    var server = client.GetServer();

    var database = server.GetDatabase(dbName);

    return database;
}

我可以做些什么来提高插入性能吗？这是批量插入 3081583 条或更多记录的正确方法吗？

我担心性能，因为这是一个每周的过程。

Answer 1

1. 您可以通过将对象数组传递给插入命令来使用批量插入。您需要配置 ContinueOnError 并定义错误处理策略。但是你应该将整个集合拆分成块，以便单个卡盘不超过 16Mb。

2. 通常，为了提高插入性能，您可以尝试限制集合中的索引数量，使用未确认的写入关注 {w:0, j:0} -（在这种情况下，您将无法确认插入是否成功）。

Answer 2

是的。可以批量插入：Bulk Inserts in MongoDB

IEnumerable<WriteConcernResult> results = collection.InsertBatch(records)

这将减少到数据库的大部分往返行程，这应该会加快速度。