用于迁移大数据的 AWS（或其他云解决方案）？答案

【问题标题】：AWS (or other cloud solution) for migrating large data?用于迁移大数据的 AWS（或其他云解决方案）？
【发布时间】：2013-04-18 16:48:41
【问题描述】：

我已经组织了文件系统和 SQL 数据库中的非关系数据。有一个应用程序可以查询这两个来源。

有哪些云解决方案可以存储这些数据（大约 1TB）？我希望能够将此数据迁移到云解决方案中并更改应用程序以查询云中的数据。

到目前为止，我已经研究了 AWS 选项：SimpleDB、DynamoDB 和 MongoDB，在带有 EBS 的 EC2 实例上增加了存储。

我还研究了 Azure 的表存储。

SimpleDB 有 10GB 的限制。 DynamoDB 在 SSD 上，可能对我的需求有点过分。我错过了什么？ AWS 上的 MongoDB 或 Azure 表存储是合适的选择吗？

【问题讨论】：

【解决方案1】：

我认为解决方案在很大程度上取决于您的数据访问模式。

我使用过 Azure 表存储，它适用于很多事情。我使用过 DynamoDB，它也适用于很多事情。两者都是很好的表存储，但都对读取索引、查询和事务有限制。这有时是一个表演的终结者。两者都需要对您的数据和所有相关应用程序进行重组。

用于您的文件存储：

（最便宜，最慢）将您的文件迁移到 Blob 存储（Azure Blob 存储或 AWS S3）并将它们保留在那里。使用 S3 作为文件访问驱动器。这很慢，但很便宜。
（高性能）使用带有 EBS 驱动器的 EC2 实例并将您的文件存储在那里。访问本地文件系统上的数据。这是耐用且高性能的。

对于您的关系数据，将其保留为关系数据并将其存储在云关系数据库服务器中。（RDS+MySQL、RDS+SQL Server、SQL Azure 等）。

无需更改您的应用程序及其数据模式，即可迁移到云端。

【讨论】：

我想将所有数据合并为一种（非关系）格式进行查询。我认为像 Azure 表存储中这样的表结构效果最好。 Blob 存储是否允许文件、图像、视频？或者我可以使用 S3 检索/查询记录类型数据（即具有温度、风等属性的天气表）。
将所有数据整合为一种格式与迁移到云端是不同的问题。您可以选择同时执行这两个步骤（整合 + 迁移到云端），但它们是两个不同的步骤。