用于存储大文件的 NoSQL 数据库？ [关闭]答案

【问题标题】：NoSQL database for storing big files? [closed]用于存储大文件的 NoSQL 数据库？ [关闭]
【发布时间】：2011-05-14 19:38:23
【问题描述】：

我需要将非常大（超过 512Mb）的二进制文件存储到 NoSQL 数据库中。什么特定的 NoSQL 数据库实现允许这样做？

【问题讨论】：

您应该阐明随机访问二进制文件的目的。二进制文件中的随机访问听起来很像数据库。我不确定你想在你的数据库中放置一个数据库；）
stackoverflow.com/questions/12894542/… 按照这个mongo应该不适合大文件，它被2gb摘要存储的地方折叠...尝试找到一个key-value数据库，riak和redis都不错，但该数据库不推荐大于 50mb 的文件。 :S 也许 mcdb 对此有好处：stackoverflow.com/questions/9724319/…
相关：stackoverflow.com/q/2890452/462865

【解决方案1】：

如果您要将二进制文件存储在非关系数据库中，您可以考虑使用Luwak。您还可以考虑使用 Hadoop 的 HDFS 以分布式方式存储文件。在您拥有三台或更多台服务器来运行它们以及快速的网络主干来支持文件复制之前，这些解决方案都不会对您有多大帮助。

如果不了解在数据库中存储大量二进制数据的基本原理，这没有多大意义。您的文件系统在存储带有可搜索元数据的二进制文件方面做得非常出色。如果您只是想对电影及其元数据进行编目，有更好的解决方案。如果您想为电影获取分布式和冗余存储，有更好的解决方案。

【讨论】：

【解决方案2】：

有一个超级精简的 NoSQL 存储机制，对随机访问提供了出色的支持。事实上，经过全球数亿用户多年的测试，有许多相互竞争的通用标准化接口实现。

看看fopen。这是网络规模！

【讨论】：

【解决方案3】：

没有经验，但Mongos GridFS是我听说的唯一一个专门用于存储文件的东西

【讨论】：

【解决方案4】：

如果将二进制数据放入 nosql 数据库解决方案中，我认为您会使用错误的工具来完成这项工作。

【讨论】：

你能告诉我为什么你需要在数据库中存储一个大文件吗？在提问者的情况下，一个 512mb 的文件......
您可能需要将文件分布在不同的节点上，以获得正确扩展的服务：例如couchbase.com/sites/default/files/uploads/all/images/WhyNoSQL/…