如何将 Amazon EBS 复制到 S3？答案

【问题标题】：How to replicate Amazon EBS to S3?如何将 Amazon EBS 复制到 S3？
【发布时间】：2011-09-12 01:54:45
【问题描述】：

我们有一个用户上传文件的网站，其中一些文件很大。我们有多个 EC2 实例并希望对它们进行负载平衡。目前，我们将文件存储在 EBS 卷上以便快速访问。复制文件以便它们在多个实例上可用的最佳方法是什么？

我的想法是，将文件上传到 S3，然后自动将它们下载到其他 EC2 实例的一些自动复制过程将是理想的。

EBS 快照不起作用，因为它们复制了整个卷，我们需要能够按需复制单个客户的目录。

【问题讨论】：

【解决方案1】：

您可以编写一个 shell 脚本来生成 s3cmd，以便在上传（或删除）新文件时将本地文件系统与 S3 存储桶同步。它看起来像：

s3cmd sync  ./  s3://your-bucket/

【讨论】：

【解决方案2】：

取决于您在 EC2 实例上运行的操作系统：

实际上没有必要将 S3 添加到混合中，除非您出于其他原因（如备份）想要将它们存储在那里。

如果您正在运行 *nix，经典的选择可能是运行 rsync 并仅在实例之间同步。

在 Windows 上，您仍然可以使用 rsync，否则 Microsoft 的 SyncToy 是一个简单的免费选项。否则这个领域可能有数百种商业应用......

如果您确实想同步到 S3，那么我建议您使用 S3 客户端应用程序之一，例如 CloudBerry 或 JungleDisk，它们都具有同步功能...

如果您运行的是 Windows，也值得考虑 DFS（分布式文件系统），它提供复制并且是 Windows Server 的一部分...

【讨论】：

我们使用的是 Amazon Linux 发行版。您知道是否有与 Cloudberry 或 JungleDisk 等效的 *nix？还是同步到 s3 的 rsync 等效项？（显然存在这样的东西，因为亚马逊正在使用它来制作 EBS 快照）。

【解决方案3】：

最好的方法是使用 Amazon Cloud Front 服务。所有复制都作为 AWS 的一部分进行管理。内容由多个不同的可用区提供，但不需要您在这些区中拥有 EBS 卷。

Amazon CloudFront 使用全球边缘站点网络交付您的静态和流媒体内容。对您的对象的请求会自动路由到最近的边缘位置，因此以最佳性能交付内容。

【讨论】：

【解决方案4】：

两种方式：

1. Amazon CloudFront 是一种用于内容交付的网络服务。它使用全球边缘位置网络交付您的静态和流媒体内容。

http://aws.amazon.com/cloudfront/

2. 您可以在您的 linux 机器上挂载 S3 存储桶。见下文：

s3fs - http://code.google.com/p/s3fs/wiki/InstallationNotes - 这确实对我有用。它使用 FUSE 文件系统 + rsync 来同步文件在 S3 中。它保留了所有的副本本地系统中的文件名 & make 它看起来像一个文件/文件夹。

这样您就可以在不同的机器上共享 S3 存储桶。

【讨论】：