在 MongoDB 中使用大量集合

Question

我正在考虑使用 MongoDB 来保存我们的活动日志数据，

{
    "domain"     : ""
    "log_time"   : ""
    "email"      : ""
    "event_type" : "",
    "data" : {
        "campaign_id" : "",
        "campaign_name" : "",
        "message" : "",     
        "subscriber_id" : ""
    }
}

上面是我们的事件结构，每个事件关联一个域，

一个域可以包含任意数量的事件，一个域与另一个域之间没有关系

我们的大多数查询一次只针对一个域

为了快速查询响应，我计划为每个域创建一个集合，以便我可以查询特定域集合数据，而不是查询包含所有域数据的整个数据

未来我们将拥有至少 100k+ 个域，因此我需要创建 100k+ 个集合。 我们预计每个集合有 100 万多个文档。

我们的主要目的是仅对必需的集合进行索引，我们不想对整个数据进行索引，这就是为什么我们计划每个域有一个集合

哪种方法更适合我的情况

1.将所有域事件存储在一个集合中 （或）

2.每个领域事件在单独的集合中

我看到了一些关于 mongodb 可以支持的最大集合数的问题，但我并不清楚这个主题，据我所知，我们可以扩展默认限制大小 24k，但是如果我创建 100k+ 集合，性能会怎样它会受到影响

这个解决方案（使用最大数量的集合）是否适合我的情况
请建议我的方法，提前谢谢

Answer 1

如果没有一些硬性数字，这个问题可能只是基于意见。 但是，如果您使用您提供的数字进行一些计算，您将得到一个解决方案。

所以您的文档总数为：

100 K collections x 1M documents = 100 G (100.000.000.000) documents.

根据您的文档结构，我将粗略估计每个文档的平均大小为 240 字节（可能更高）。

将这两个数字相乘可获得约 21.82 TB 的数据。您不能仅在一台服务器上存储这么多数据，因此您必须将数据拆分到多台服务器上。

有了这么多数据，您的问题不再是一个集合与多个集合，而是我如何将所有这些数据存储在多台服务器上的 MongoDB 中，以便我可以高效地进行查询。

如果您有 10 万个集合，您可能可以做一些手动工作并存储例如每个 MongoDB 服务器 10 K 个集合。但是有更好的方法。

您可以使用sharding 并让 MongoDB 完成在服务器之间拆分数据的繁重工作。通过分片，您将为所有域拥有一个集合，然后将该集合分片到多台服务器上。

我强烈建议您在尝试部署这种规模的系统之前阅读所有有关分片的文档。