【问题标题】:Cloud hosting - shared storage with direct access云托管 - 可直接访问的共享存储
【发布时间】:2011-11-13 16:52:47
【问题描述】:

我们使用 EC2EBS 服务在 AWS 上部署了一个应用程序。 分层丢弃的基础设施(独立实例):

  • 应用程序(带负载平衡器)

  • 数据库(主从标准模式)

  • 媒体服务器(流)

  • 后台处理(redis、delayed_job)

ApplicationDatabase 实例使用多个 EBS 块存储设备(根、数据),这有助于我们附加/分离它们以及对 S3 进行 EBS 快照。这是 AWS 的默认工作方式。

但 EBS 应位于特定区域,并且只能同时附加到一个实例。

媒体服务器是瓶颈之一,因此我们希望使用主/从架构来扩展它们。所以对于媒体服务器存储,我们想尝试分布式文件系统可以连接到多个服务器。你有什么建议?

【问题讨论】:

    标签: amazon-web-services scalability distributed high-availability


    【解决方案1】:

    如果您不是 Facebook 或 Amazon,那么您没有真正的理由使用像 Hadoop 或 Cassandra 这样复杂的东西。当您达到这种增长水平时,您将能够负担得起可以为您的问题选择/设计完美解决方案的工程师。

    同时,我强烈推荐 GlusterFS 用于分布式存储。它非常易于安装、配置和启动和运行。此外,如果您当前正在从本地存储流式传输文件,您会发现 GlusterFS 还可以充当本地存储,同时仍可被多个服务器访问。换句话说,不需要对您的应用程序进行任何更改。

    我无法告诉您特定应用程序的确切配置选项,但有许多可用的选项,例如分布式、复制、条带化数据。您还可以使用缓存设置来避免每次请求时都撞到磁盘等。

    有一点需要注意,由于 GlusterFS 是其他存储层之上的一层(尤其是 Amazon),因此您可能无法获得令人印象深刻的磁盘性能。实际上,出于可扩展性的考虑,它可能比您现在拥有的要糟糕得多……基本上,您最好设计您的应用程序以从 CDN 提供流媒体服务,该 CDN 已经为您的应用程序类型提供了正确的基础架构。这是值得考虑的事情。

    【讨论】:

      【解决方案2】:

      HBase/Hadoop

      Cassandra

      MogileFS

      同样的问题(如果我理解正确的话):
      Lustre, Gluster or MogileFS?? for video storage, encoding and streaming

      分布式文件系统有很多,只要找到你需要的。
      以上只是我个人知道的部分(没有测试过)。

      【讨论】:

      • 值得一提的是,Hadoop 和 Cassandra 被 Facebook、Amazon 和其他大公司所使用。
      • 还有LinkedIn使用的“伏地魔计划”
      • voldermort/cassandra/hbase 是数据库,这不是我想要的。您是否有跨云基础架构使用 DFS 的经验?我可以选择我找到的任何 DFS 并与我们的系统集成。同样,很高兴听到有关工作解决方案和最佳实践的信息。
      • 对我们来说另一种方法是使用通用做法的专用服务器
      • 你说“对于媒体服务器存储我们想尝试分布式文件系统可以附加到多个服务器上”......上面确实是数据库,换句话说是分布式文件您要求的系统。它们虽然不像 MySQL。不知道你在找什么。
      猜你喜欢
      • 2018-06-14
      • 1970-01-01
      • 1970-01-01
      • 2011-10-17
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-01-11
      • 2022-06-14
      相关资源
      最近更新 更多