如何使用 mongoid/mongodb 批量更新/upsert？

Question

我有一个包含数百万 Orderdocuments 的数据库。我用以下方法批量插入它们：

Order.collection.insert([
                         {:_id=>BSON::ObjectId('5471944843687229cdfb0000'), :status=>"open", :name=> "Benny"},
                         {:_id=>BSON::ObjectId('5471944843687229cdfc0000'), :status=>"open", :name=> "Allan"}
                        ])

我经常需要更新订单上的status 属性。使用update_attribute 方法单独更新它们会效率低下。

如何批量更新多个 MongoDB 文档？

可以用以下“虚构”代码最好地描述所需的解决方案：

# IMPORTANT: The exemplified upsert method does not exist

Order.collection.upsert([
                         {:_id=>BSON::ObjectId('5471944843687229cdfb0000'), :status=>"closed"},
                         {:_id=>BSON::ObjectId('5471944843687229cdfc0000'), :status=>"some_other_status"}
                        ])

仅供参考，可能有类似的问题/答案in this SO post，但老实说，我没有遵循答案。

Answer 1

引用问题中的最佳答案可以简化为

id_status = [['5471944843687229cdfb0000','closed'], ...] 

bulk_order = id_status.map do |id, status| # Using array destructuration
  { update_one:
    {
      filter: { _id: id },
      update: { :'$set' => {
        status: status,
      }}
    }
  }
end
YourCollection.collection.bulk_write(bulk_order)

Answer 2

首先，您需要过滤Orders 以仅匹配orders_to_update 的ID。 您使用any_in Criteria method 过滤它们。然后使用update_all 批量更新它们。

像这样：

orders_to_update = [BSON::ObjectId('5471944843687229cdfb0000'), BSON::ObjectId('5471944843687229cdfc0000')]

Order.any_in(id: orders_to_update).update_all(status: "closed")

Answer 3

这里真正的问题是更新。更新很慢，因为它需要读取、替换和更改文档。

我在同一个问题上被阻止了很多天。我在 stackoverflow 和任何其他网站上都没有找到任何解决方案。因此，我编写了自己的解决方案。也许你会发现它不是很“干净”，但它的时间效果很好。

解决方案在于销毁并重新创建此文档。销毁非常快，使用批量执行“collection.insert”创建新文档非常快。

def get_orders(*params)
   Order.where(# some conditions).asc(:id)
end

namespace :my_collection_repairer do
desc ""

  task update: :environment do
    all_orders = get_orders(# some conditions)
    while all_orders.count > 0
      num_docs = all_orders.count
      group_size = 10000
      num_groups = (Float(num_docs) / group_size).ceil
      puts "#{num_docs} documents found. #{num_groups} groups calculated."

      1.upto(num_groups) do |group|
        updated_order_list = []
        order_group = all_orders.page(group).per(group_size)
        puts "group #{group}"

        order_group.each do |order|
          updated_order = update_order(order) # this represents your custom update method
          updated_order_list << updated_order.as_document
          order.destroy
        end

        Order.collection.insert(updated_order_list)
        puts "Group #{group} updated."
      end
      all_orders = get_orders(# some conditions)
    end
  end
end

Answer 4

将更新或替换操作的 upsert 选项设置为 true，并具有以下 语法：

 bulk.find( { status: "closed" } ).update( { $set: { status: "some_other_status" } } );
 bulk.execute();

将多更新操作添加到批量操作列表。该方法更新现有文档中的特定字段。

使用 Bulk.find() 方法指定确定要更新哪些文档的条件。 Bulk.find.update() 方法更新所有匹配的文档。要指定单个文档更新，请参阅 Bulk.find.updateOne()。

 var bulk = db.collection.initializeUnorderedBulkOp();
 bulk.find( { status: "closed" } ).upsert().update(
{
 $set: { status: "some_other_status"}
}
);
bulk.execute();

注意：

要为此操作指定 upsert: true，请使用 Bulk.find.upsert()。使用 Bulk.find.upsert()，如果没有文档匹配 Bulk.find() 查询条件，则更新操作仅插入单个文档。 希望这会有所帮助。