没有文件系统的键值存储？答案

【问题标题】：Key Value storage without a file system?没有文件系统的键值存储？
【发布时间】：2013-03-20 13:18:30
【问题描述】：

我正在开发一个应用程序，我们正在其中编写大量的键值对。在生产环境中，数据库大小将达到数百 TB，甚至数 PB。密钥为 20 字节，值最大为 128 KB，很少小于 4 KB。现在我们正在使用 MongoDB。性能不是很好，因为显然这里有很多开销。 MongoDB 写入文件系统，该文件系统写入 LVM，该 LVM 进一步写入 RAID 6 阵列。

由于我们的要求非常基本，我认为使用通用数据库系统会影响性能。我正在考虑实现一个简单的数据库系统，我们可以将文档（或“值”）直接放入原始驱动器（实际上是 RAID 阵列），并存储密钥（以及指向原始值所在位置的指针）驱动器）在由 SSD 支持的快速内存数据库中。这也将加快读取速度，因为不会有碎片（与使用文件系统相反）。

虽然文档很少被删除，但我们仍然需要在设备上维护一个可用空间池（文件系统会提供）。

我的问题是，这真的会带来任何重大改进吗？此外，是否有任何文档存储系统可以执行此类操作？或者类似的东西，我们可以用作起点？

【问题讨论】：

我认为如果没有一些文件系统与您选择的操作系统交互，就不可能以二进制可访问形式存储数据
当然，您可以在 Linux 中将驱动器或 RAID 阵列作为“块设备”访问并直接对其进行读/写。
一个块设备可以有一个文件系统。我想你会发现它在连接设备之前使用 EXT 或 FAT 或任何文件系统进行了初始化
块设备只是被连接设备的类型，并不代表它是否有文件系统
块设备不需要有文件系统就可以读取或写入。

标签： mongodb key-value hard-drive document-storage

【解决方案1】：

Apache Cassandra 突然想到。这是当前涉及大规模扩展的选择 NoSQL 解决方案。它在several large companies with massive scaling requirements. 上看到了生产使用情况，我可以说它需要一点时间来重新考虑你的数据模型以适应它如何安排它的存储引擎。著名的引用文章"WTF is a supercolumn" 对此进行了很好的介绍。警告：Cassandra 仅在您计划存储大量数据集时才有意义，并且没有单点故障的分发是关键任务要求。以您解释数据的方式，听起来很合适。

另外，你有没有研究过 redis，至少是为了保存关键引用？您的内存需求远远超出了单个实例能够处理的能力，但 Redis 也可以配置为分片。这不是它的主要用例，但它sees production use at both Craigslist and Groupon

另外，您是否已尽一切可能优化 mongo，尤其是研究如何改进索引？ Mongo 确实会保存到磁盘，但在优化时应该相对性能更好，以尽可能将最热的部分保留在内存中。

如果不是太短暂，是否可以缓存这些数据？

我会完全警告您不要自己动手。只是一个公平的警告。这不是对您或其他任何人的打击，只是我个人不得不维护由内部开发人员编写的自定义“数据索引”，这些开发人员以前在他们的头脑中遇到了麻烦。在我的工作中，我们有一个大量磁盘键值存储，这是我们系统中的一个主要性能瓶颈，它是由一位从公司离职的开发人员编写的。在当今令人兴奋的 NoSQL 机会中陷入这样的解决方案令人沮丧。我上面提到的项目利用了开源社区的全部力量来证明和优化它们的使用。除非您投入大量时间、精力和促销，否则您无法通过自己的解决方案实现这一目标。至少I'd encourage you to look at all your nosql options 并且也许找到一个你可以贡献而不是自己滚动的项目。编写数据库服务器本身绝对是一项不平凡的任务，需要一个庞大的团队，尤其是根据您给出的要求（但如果您最终这样做，我祝您好运！=））

【讨论】：

实际上，我在问题中遗漏的要点是，我们正在寻找能够在独立节点上复制数据的东西，例如 RAID 6。我研究过的所有 NoSQL 实现都有一个复制模型，您可以在其中可以将值复制到多个节点。我们正在寻找可以让您存储一个值的东西，比如 10 个节点，并且需要 8 个来恢复数据。所以这就是我的实现要做的事情：用于容错的用户擦除代码，而不是整个文档复制。
我知道你正在考虑放弃 mongo，但它确实以驱动程序中的写入首选项设置的形式有这个要求。您可以指定单个写入的复制因子，以便被视为“成功”emptysquare.net/blog/pymongos-new-default-safe-writes
Replication is Mongo 是“复制另一个节点上的所有数据”。我们正在寻找类似“将数据分成 8 个块，计算两个奇偶校验块，并将每个块存储在 10 个节点上”之类的东西。 Tahoe LAFS 使用这种方法。
感谢您的清理。既然您已经详细说明了一点，我想不出在 NoSQL 领域中提供像 GridFS 这样的单独入门级划分的任何东西（确实对数据进行了分块，但没有提供关于哪些块去哪里的规范），由于其他原因，这对您来说是不切实际的。希望我能提供更多帮助。

【解决方案2】：

迟到的答案，但为了将来参考，我认为 Spider 会这样做

【讨论】：