MongoDB 在聚合查询上的表现

Question

在听到很多关于 MongoDB 性能的好消息后，我们决定尝试使用 Mongodb 来解决我们遇到的问题。我首先将我们在几个 mysql 数据库中的所有记录移动到 mongodb 中的单个集合中。这导致了一个包含 2900 万个文档（每个文档至少有 20 个字段）的集合，在 HD 中占用了大约 100 GB 的空间。我们决定将它们全部放在一个集合中，因为所有文档都具有相同的结构，并且我们希望查询和汇总所有这些文档的结果。

我创建了一些索引来匹配我的查询，否则即使是简单的 count() 也需要很长时间。但是，诸如 distinct() 和 group() 之类的查询仍然需要很长时间。

例子：

// creation of a compound index    
db.collection.ensureIndex({'metadata.system':1, 'metadata.company':1})

// query to get all the combinations companies and systems
db.collection.group({key: { 'metadata.system':true, 'metadata.company':true }, reduce: function(obj,prev) {}, initial: {} });

我查看了 mongod 日志，它有很多这样的行（在执行上面的查询时）：

Thu Apr  8 14:40:05 getmore database.collection cid:973023491046432059 ntoreturn:0 query: {}  bytes:1048890 nreturned:417 154ms
Thu Apr  8 14:40:08 getmore database.collection cid:973023491046432059 ntoreturn:0 query: {}  bytes:1050205 nreturned:414 430ms
Thu Apr  8 14:40:18 getmore database.collection cid:973023491046432059 ntoreturn:0 query: {}  bytes:1049748 nreturned:201 130ms
Thu Apr  8 14:40:27 getmore database.collection cid:973023491046432059 ntoreturn:0 query: {}  bytes:1051925 nreturned:221 118ms
Thu Apr  8 14:40:30 getmore database.collection cid:973023491046432059 ntoreturn:0 query: {}  bytes:1053096 nreturned:250 164ms
...
Thu Apr  8 15:04:18 query database.$cmd ntoreturn:1 command  reslen:4130 1475894ms

这个查询花费了 1475894 毫秒，这比我预期的要长得多（结果列表大约有 60 个条目）。首先，考虑到我收藏的大量文档，这是预期的吗？一般来说，聚合查询在 mongodb 中会这么慢吗？关于如何提高性能的任何想法？

我在具有双核和 10GB 内存的单机上运行 mongod。

谢谢。

Answer 1

这个想法是通过在分布在多台机器上的分片数据库上使用 MapReduce 来提高聚合查询的性能。

我在同一台机器上对 Mongo 的 Mapreduce 与 Oracle 中的 group-by-select 语句的性能进行了一些比较。我确实发现 Mongo 慢了大约 25 倍。这意味着我必须在至少 25 台机器上对数据进行分片，才能在 Mongo 中获得与 Oracle 在单台机器上提供的相同的性能。我使用了一个包含大约 1400 万个文档/行的集合/表。

通过 mongoexport.exe 从 mongo 导出数据并将导出的数据用作 Oracle 中的外部表并在 Oracle 中进行分组比使用 Mongo 自己的 MapReduce 快得多。

Answer 2

几件事。

1) 您的组查询正在处理 很多 数据。虽然您的结果集很小，但看起来它正在对集合中的所有数据进行表格缩放以生成那个小结果。这可能是缓慢的根本原因。为了加快速度，您可能希望在查询运行时通过 iostat 查看服务器的磁盘性能，因为这可能是瓶颈。

2）正如在其他答案中所指出的，group 命令使用 javascript 解释器，这将限制性能。您可以尝试使用在 2.1 中作为测试版发布的新聚合框架（注意：这是截至 2012 年 2 月 24 日的不稳定版本）。请参阅http://blog.mongodb.org/post/16015854270/operations-in-the-new-aggregation-framework 以获得很好的介绍。这不会克服（1）中的数据量问题，但它是用 C++ 实现的，如果 javascript 时间是瓶颈，那么它应该快得多。

3) 另一种方法是使用增量 map-reduce 生成带有分组结果的第二个集合。这个想法是，您将运行一次 map-reduce 作业来聚合您的结果，然后定期运行另一个 map-reduce 作业，将新数据重新减少到现有集合中。然后，您可以从您的应用程序中查询第二个集合，而不是每次都运行一个组命令。

Answer 3

聚合（map reduce 或其他）在 mongo 中非常慢，因为它是由 javascript VM 完成的，而不是数据库引擎。对于时间序列数据，这仍然是这个（非常好，imo）数据库的限制。