将数据从 AWS Ubuntu Server 移动到 Amazon S3 存储桶的最佳方式是什么？ [关闭]答案

【问题标题】：What is the best way to move data from AWS Ubuntu Server to an Amazon S3 bucket? [closed]将数据从 AWS Ubuntu Server 移动到 Amazon S3 存储桶的最佳方式是什么？ [关闭]
【发布时间】：2016-07-29 02:57:21
【问题描述】：

我正在将大量数据 (link to data) 下载到 AWS Ubuntu 服务器，希望最终将数据保存到已安装的 S3 存储桶中。问题是，如果我要使用 200GB 磁盘将所有数据（例如 >1TB 的数据）下载到 AWS Ubuntu 服务器，则会超出磁盘的限制。因此，在这些限制条件下，如何有效地将数据传输到 S3 存储桶？

我考虑过将单个文件下载到磁盘，同步到 S3，然后删除文件，尽管这种方法似乎效率极低。

【问题讨论】：

为什么不能直接上传到S3？为什么是中间 Ubuntu 服务器？
据我所知直接上传到 S3 是不可能的。
为什么说不能直接上传到 S3？我每天都这样做......
here 是 Java api- 从这里你可以找到包括命令行在内的其他 API。
在 EC2 存在之前就可以直接上传到 S3。您也可以使用 awscli 来完成。

标签： linux shell amazon-web-services amazon-s3 ubuntu-server

【解决方案1】：

根据 cmets，似乎最好的办法是使用 awscli 将其从本地计算机直接上传到 s3。

以下是基本步骤：

pip install awscli（或use other installation methods）
aws configure
aws s3 cp /my/local/file.txt s3://bucket/key.txt

还有许多其他方法可用，但 AWS 的官方命令行工具得到了很好的支持，对于那些有 shell 知识的人来说，这是一个很好的起点。

【讨论】：

【解决方案2】：

由于您拥有大量数据文件，我建议您使用 S3FS，这是一种将 S3 磁盘挂载到您的实例中的工具，因此您可以访问所有文件，因为它是一个普通的文件系统（理论上是这样）。这是一个链接，您可以了解更多信息

更新 1：请记住，传输速度确实很慢（根据我的测试为 10 MB/s），但我希望它会满足您的需求

http://tecadmin.net/mount-s3-bucket-centosrhel-ubuntu-using-s3fs/

【讨论】：