我应该如何使用 MongoDB GridFS 来存储我的大数据？

Question

看了MongoDB Gridfs官方文档后，我知道MongoDB使用GridFS来存储大文件（大小>16M），文件可以是视频，电影或其他任何东西。但是现在，我遇到的是大型结构化数据，而不是简单的物理文件。数据大小超出限制。更详细地说，我正在处理的是数千个基因序列，其中许多超出了 BSON 文档大小限制。您可以将每个基因序列视为一个简单的字符串，而字符串太大以至于某些字符串具有超过了 mongoDB BSOM 大小限制。那么，我该怎么做才能解决这样的问题呢？ GridFS 还适合解决我的问题吗？

Answer 1

GridFS 会将数据拆分为 chunks 更小的尺寸，这就是它克服尺寸限制的方式。它对于流式数据特别有用，因为您可以快速访问任何给定偏移量的数据，因为这些块已编入索引。

以数十兆字节存储“结构化”数据听起来有点奇怪：要么您需要根据某些标准访问部分数据，然后您需要一个允许访问较小部分数据的不同数据结构。

或者您确实需要根据某些标准处理整个数据集。在这种情况下，您需要一个有效索引的集合，您可以根据您的条件进行查询，并且包含必须随后处理的文件的 ID。

如果没有具体的问题示例，即查询和数据结构是什么样的，很难给你更详细的答案。