大型数据集的分布式复制二进制存储

Question

我们需要一些现有的解决方案来解决一个非常狭窄的问题：一次写入多次读取时间序列存储。

我们关心的属性是：

• 低读取延迟
• 已复制
• 可扩展（能够添加更多资源，例如物理硬件或金钱）

我们尝试使用 Google AppEngine 数据存储区，将数据分块为约 100 万个 blob。不幸的是，读取延迟和定价并不是那么令人愉快。

我们将要考虑的选项是：

• Amazon SimpleDB
• HDFS/HBase 在我们自己的主机上
• 一些 NoSQL 品种（东京暴君？）
• MySQL 中的 BLOB（但必须进行手动分片）

我们错过了什么吗？我们应该考虑其他选项还是优先考虑其他选项？

Answer 1

试试 Lustre 和/或 Ceph。两者都有（或将有）商业支持。

Answer 2

您可能还想看看 Microsoft 的 Azure Storage 服务。它们以合理的价格提供 blob、表（非关系型）和队列。