将 1TB 文件夹和文件从 vps Web 服务器传输到 AWS S3

Question

我需要将我们所有的文件（带有文件夹结构）传输到 AWS S3。我已经研究了很多关于这是如何完成的。

提到的大部分地方 s3fs。不过这个好像有点老了。我已经尝试将 s3fs 安装到我现有的 CentOS 6 Web 服务器上。但它卡在 $ make 命令上。 （是的，有 Makefile.in）

而as per this answer AWS S3 Transfer Acceleration 是下一个更好的选择。但我仍然必须编写一个 PHP 脚本（我的应用程序是 PHP）来将所有文件夹和文件传输到 S3。它的工作方式与 S3（API putObject）中的文件保存方式相同，但速度更快。如果我错了，请纠正我。

有没有其他更好的解决方案（我更喜欢 FTP）将 1TB 文件和文件夹从 CentOS 6 服务器传输到 AWS S3？有什么方法可以在 EC2 中使用 FTP 客户端将文件从 CentOS 6 外部传输到 AWS S3？

Answer 1

使用AWS Command-Line Interface (CLI) 的aws s3 sync 命令。

这将保留您的目录结构，并且可以在断开连接时重新启动。每次执行只会复制新的、更改的或丢失的文件。

请注意，1TB 数据量很大，可以用significant time 复制。

另一种方法是使用 AWS Snowball，这是 AWS 可以发送给您的设备。它可以容纳 50TB 或 80TB 的数据。只需将您的数据复制到设备，然后将其发送回 AWS，他们就会将数据复制到 Amazon S3。