使用 mongodb 对 gridfs 文件进行 MapReduce

【问题标题】：MapReduce on gridfs file with mongodb使用 mongodb 对 gridfs 文件进行 MapReduce
【发布时间】：2013-01-23 09:17:36
【问题描述】：

我想将 bson 文档存储在 gridfs 中，因为它们会迅速增长到超过 16MB。但我还必须对它们进行一些 mapreduce 分析。这是可能的还是我必须将文档拆分为多个文档才能做到这一点。教程和其他东西总是在谈论图片、视频等二进制数据，而不是 bson 文档

谢谢。

【问题讨论】：

【解决方案1】：

GridFS 仅用于存储二进制文件。这并不意味着拆分普通文档（您称之为 BSON 文档）。如果您的 BSON 文档太大，您需要重新考虑您的数据模式。如果您提供该架构，我可以使用提示和技巧更新我的答案。

【讨论】：

我想将来自一个来源的一天的日志数据存储在一个 bson 文档中并保留一段时间。然后我将在一个文档中有大约 80 Mb。我将它拆分为每个条目一个文档。我在导入后计算统计数据并删除日志数据。感谢和抱歉耽搁了