分布式blob存储和处理平台

Question

请建议一个分布式平台或架构，它允许拥有存储和处理 blob 的节点集群，并具有以下限制和要求：

• 必须根据客户端的请求（最好是 http）动态处理 Blob。响应时间必须小于 100 毫秒。 Blob 处理算法需要 30-50ms（包括从 9TB RAID5 随机读取）。因此平台增加的开销不得超过 50 毫秒。
• 原始 blob 必须在其存储的同一物理服务器上进行处理。否则，网络将成为瓶颈。
• 必须通过基于服务器的冗余（具有可自定义的冗余级别）来实现可靠性。
• 向集群添加节点时，平台必须将 blob 重新分配到新添加的服务器。
• Blob 处理算法是用 C# 编写的，它们必须只是重复使用，平台必须允许这样做。
• 平台必须允许安装在私有服务器（云不适用）。
• 如果平台是基于 Windows 的，那就太好了。

Answer 1

Anton，你可以试试微软 HDInsight，但是第一和第二个限制太强了（可能）。