MongoDb 查询：DB 中的 200 万个查询或 10000 个块中的 200 个查询。哪一个对性能更好？

Question

我需要一些关于 mongodb 数据库查询的建议。

我的数据库中有超过 200 万条数据。我想将这些记录与一个包含 200 万条记录的 CSV 文件进行比较。

所以我有两个选择：

1. 我从 CSV 获取一条记录并在数据库中搜索 200 万条数据。在这种情况下，我在数据库中进行 200 万条查询。

2. 第二个选项是，我可以进行 200 次查询。在每个查询中，我只能从 DB 中带入 10000 个数据块，并使用 hashmap 和循环将这些记录与 CSV 文件进行比较（在内存比较中）。

我正在使用 node.js 和 mongoose.js npm 模块。

哪个选项性能好？

例如：

1) 第一种情况：（短信交易表，csv 包含来自网关提供商的报告，我想将其与 DB 匹配）

CSV 包含以下数据：

transaction_id, phone_number

MongoDB 文档包含以下数据：

phone_number、transaction_id 或 combine_field(phone_number+"-"+transaction_id)

**combined_field 是 phone_number 和 transaction_id 的组合，由“-”（破折号）分隔。

我想要这样的结果：有多少来自 CSV 的记录在 DB 中不存在

2) 第二种情况（对于联系人表，用户正在从 csv 上传联系人）

CSV 包含以下数据：

名字、姓氏、电子邮件、电话

MongoDB 数据包含以下数据：

first_name, last_name, email = [{value: "xyz@mail.com", is_primary: true/false}], phone = [{value: "1234567890", is_primary: true/false}]

我想要的结果是这样的： 联系人没有在 DB 中表示，然后准备 obj 并插入到数据库中。

Answer 1

标题是XY-problem的典型例子，所以回答2个实际问题。

1。有多少来自 CSV 的记录在 DB 中不存在

当数据来自网关提供者时，使用mongoimport将数据加载到mongodb中的临时集合，然后使用聚合框架的$lookup阶段计算差异。

例子：

• 集合 X - 基础集合
• 集合 Y - 来自导入的 CSV 的临时集合

查询：

db.Y.aggregate([
    {
       $lookup:
         {
           from: "X",
           let: { key: { $concat: [ "$phone_number", "-", "$transaction_id" ] } },
           pipeline: [ { $match:{ $or:[
               { combined_field: "$$key"},
               { $expr: { $eq: [ "$$key", { $concat: [ "$phone_number", "-", "$transaction_id" ] } ] } }
           ] } } ],
           as: "exist"
         }
    },
    { $match: { exist: { $size: 0 } } },
    { $group: { _id: null, cnt: {$sum: 1} } }
])

返回问题中的数字。

2。文档未在数据库中表示，然后准备并插入数据库中

解析 CSV 和 upsert 所有文档。

例子：

• 集合 X - 基础集合
• csvDoc - 来自单个 CSV 行的 javascritp 文档

查询：

db.X.update(
    { first_name : csvDoc.first_name, last_name : csvDoc.last_name },
    { 
        $addToSet: { 
            email: { value: csvDoc.email, is_primary: true/false },
            phone : { value: csvDoc.phone, is_primary: true/false }
        },
        $setOnInsert: { first_name : csvDoc.first_name, last_name : csvDoc.last_name }, 
    }, 
    { upsert: true } 
)

如果给定的 first_name 和 last_name 没有任何内容，它将添加新文档，否则将电子邮件和电话添加到数组中。

您可以使用bulk writes 通过在单个命令中批处理多达 1000 个文档来加快速度。