MongoDB - 物化视图/OLAP 样式聚合和性能

Question

我一直在阅读 MongoDB。我对聚合框架的能力特别感兴趣。我正在考虑采用每月至少包含 10+ 百万行的多个数据集，并根据这些数据创建聚合。这是时间序列数据。

示例。使用 Oracle OLAP，您可以在秒/分钟级别加载数据，并将此汇总到小时、天、周、月、季度、年等......只需定义您的维度并从那里开始。这很好用。

到目前为止，我已经了解到 MongoDB 可以使用它的 map reduce 功能来处理上述问题。可以实现 Map reduce 功能，以便增量更新结果。这是有道理的，因为我会每周或每月加载新数据，并且我希望只需要处理正在加载的新数据。

我还读到 MongoDB 中的 map reduce 可能会很慢。为了克服这个问题，我们的想法是使用廉价的商品硬件并将负载分散到多台机器上。

这是我的问题。

1. 就性能而言，MongoDB 处理 map 的性能降低了多少？您真的需要很多机器才能获得可接受的性能吗？
2. 在工作流方面，map reduce产生的增量结果是否比较容易存储和合并？
3. 聚合框架提供了多少性能改进？
4. 聚合框架是否能够以与现有的 map/reduce 功能类似的方式增量存储结果。

提前感谢您的回复！

Answer 1

就性能而言，MongoDB 处理 map 的效果如何？您真的需要很多机器才能获得可接受的性能吗？

MongoDB 的 Map/Reduce 实现（从 2.0.x 开始）受到其对单线程 SpiderMonkey JavaScript engine 的依赖的限制。已经对v8 JavaScript engine 进行了一些试验，提高并发性和性能是总体设计目标。

新的Aggregation Framework 是用 C++ 编写的，具有更可扩展的实现，包括“管道”方法。每个管道当前都是单线程的，但您可以并行运行不同的管道。聚合框架目前不会取代所有可以在 Map/Reduce 中完成的作业，但确实简化了许多常见用例。

第三种选择是通过MongoDB Hadoop Connector 结合Hadoop 使用MongoDB 进行存储。 Hadoop 目前有一个更具扩展性的 Map/Reduce 实现，并且可以通过 Hadoop 连接器访问 MongoDB 集合以进行输入和输出。

在工作流方面，map reduce产生的增量结果是否比较容易存储和合并？

Map/Reduce 有几个output options，包括将增量输出合并到以前的输出集合或内联（在内存中）返回结果。

聚合框架提供了多少性能改进？

这实际上取决于您的 Map/Reduce 的复杂性。总体而言，聚合框架更快（在某些情况下，速度更快）。您最好对自己的用例进行比较。

MongoDB 2.2 尚未正式发布，但 2.2rc0 release candidate 已于 7 月中旬推出。

聚合框架是否提供了以与现有的 map/reduce 功能类似的方式增量存储结果的能力。

聚合框架目前仅限于返回内联结果，因此您必须在返回结果时处理/显示结果。结果文档也被限制为 MongoDB 中的最大文档大小（当前为 16MB）。

有一个建议的 $out 管道命令 (SERVER-3253)，将来可能会添加该命令以提供更多输出选项。

一些可能感兴趣的进一步阅读：

• 在 MongoDC 2011 上的演讲 Time Series Data Storage in MongoDB
• 在 MongoSF 2012 上的演讲MongoDB's New Aggregation Framework
• capped collections，可以类似于RRD使用

Answer 2

Couchbase map reduce 旨在构建增量索引，然后可以动态查询您正在寻找的汇总级别（很像您在问题中给出的 Oracle 示例）。

这里是关于如何使用 Couchbase 完成此操作的文章：http://www.couchbase.com/docs/couchbase-manual-2.0/couchbase-views-sample-patterns-timestamp.html