仅从 MongoDB 次要删除选择性数据

Question

是否可以通过直接在辅助实例上运行删除命令从单个 Mongo 辅助实例中删除数据，而不影响主实例和其他辅助实例？

说明：我想清除大约 500 GB 的大型集合，其中包含大约 5 亿条记录。我想保留最近几个月的数据，所以我将不得不删除约 4 亿条记录。它是一个副本设置，具有一个主节点和 2 个辅助节点。存储引擎是WiredTiger。我不希望任何停机或缓慢，因为它是实时事务系统的生产数据库。我正在考虑以下选项：

1. 创建一个新集合，将最近几个月的记录复制到其中，然后删除旧的。但是复制如此庞大的数据会降低数据库服务器的速度。
2. 备份整个集合，然后运行批量删除，批量大小为 1000。这将需要数周时间才能删除这么多记录，还会创建巨大的操作日志，因为每次删除都会产生一个将同步的操作日志到次要。这些操作日志会占用大量磁盘空间。
3. 另一个选项是我只在一个辅助节点上运行批量删除。删除数据后，我将其提升为主要数据。然后在其他 2 个辅助实例上运行相同的删除。这不会影响 prod 环境。因此问题是：我们可以只在辅助服务器上运行删除吗？一旦这个从节点在删除后回到集群中，主节点和从节点之间的同步过程将是什么行为？

Answer 1

我在本地 MongoDB 集群上运行了一个小测试。原则上，当您遵循以下程序时，它似乎可以工作：

1. 关闭辅助节点
2. Restart the secondary as a standalone（您不能对 SECONDARY 执行任何更改）
3. 连接单机并删除旧数据
4. 关闭单机版
5. 作为ReplicaSet成员正常重启standalone
6. 对另一个辅助节点重复步骤 (1) 到 (5)。您可以在所有辅助节点上并行运行上述步骤，但是在出现问题时您没有冗余。
7. 将一个从上面设置为主要
8. 对最后一个节点重复步骤 (1) 到 (5)

正如我所说，我对一些文档进行了“快速而肮脏”的测试，它似乎有效。

但是，我认为它不适用于您的设置，因为：

步骤（5）“删除旧数据”需要一些时间，可能需要几个小时甚至几天。当您完成删除后，您很可能会陷入这种情况：

Resync a Member of a Replica Set:

当复制过程远远落后于主节点覆盖该成员尚未复制的 oplog 条目时，副本集成员将变为“陈旧”。成员无法赶上并变得“陈旧”。发生这种情况时，您必须完全重新同步该成员，方法是删除其数据并执行初始同步。

即您将再次添加所有已删除的数据。

也许有一些技巧可以将“stale”覆盖为“SECONDARY”。然后您将不得不删除旧的 PRIMARY 并再次将其添加为 SECONDARY。但是这样一来，当步骤 (5) 运行时，您将丢失所有新插入到生产环境中的数据。我假设应用程序会不断插入新数据（否则您不会获得如此数量的文档），这样的数据将会丢失。