【发布时间】:2013-09-27 06:35:46
【问题描述】:
我有什么?
我有'n'部门的数据 每个部门都有1000多个数据集 每个数据集都有超过 10,000 个 csv 文件(大小大于 10MB),每个文件具有不同的架构。
这些数据在未来会增长得更多
我想做什么?
我想将此数据映射到 mongodb
我使用了哪些方法?
我无法将每个数据集映射到 mongo 中的文档,因为它的限制为 4-16MB
我无法为每个数据集创建集合,因为最大集合数也是有限的 (
所以最后我想为每个部门创建一个集合,在该集合中为属于该部门的 csv 文件中的每条记录创建一个文档。
我想知道你:
如果我们将每条记录映射到文档,会不会出现性能问题?
文档数量有上限吗?
我还能做其他设计吗?
【问题讨论】:
-
MongoDB中的集合大小没有限制,unless it is capped collection.