在 EC2 上使用 python 脚本将 aws s3 复制到 s3答案

【问题标题】：aws s3 to s3 copy using python script on EC2在 EC2 上使用 python 脚本将 aws s3 复制到 s3
【发布时间】：2019-04-13 08:05:02
【问题描述】：

我计划运行脚本将 S3 文件从一个存储桶复制到同一区域的另一个存储桶（相同帐户和不同帐户 - 两种情况都存在）。我正在使用 Python 脚本并在 EC2 实例上运行。 1) 性能是否取决于 EC2 服务器类型？ 2) 将 S3 文件从一个帐户复制到另一个帐户（以及将一个存储桶复制到同一帐户、同一区域中的另一个存储桶）时，提高性能的最佳方法是什么。鉴于他们在同一地区和不同地区。每个文件大小约为 1 GB，总大小为 5TB

谢谢汤姆

如果您需要任何其他信息，请告诉我。

【问题讨论】：

标签： python-3.x amazon-s3 amazon-ec2

【解决方案1】：

不，在这种情况下，EC2 的类型无关紧要，因为您使用 AWS 网络将数据从一个存储桶传输到另一个存储桶。如果您想分离数据的并行处理（同时运行多个 s3 cp），那么您将选择一个特定的实例，但在您的情况下，T2 Small 就可以了。

【讨论】：

谢谢你。所以你所说的完全依赖于 S3 到 S3 并且取决于区域和帐户。只是为了好奇，如果我创建线程进程并使用 python 代码并行运行 30-50 cp 进程会发生什么。我将如何影响。我不会这样做。只是好奇。
好吧，如果你要启动一个线程，你会看到一个问题，例如你有 4 个 CPU 插槽，每个 CPU 最多可以有 12 个内核，每个内核可以有两个线程。因此，您的最大线程数是 4 CPU x 12 个内核 x 每个内核 2 个线程，所以 12 x 4 x 2 是 96。因此最大线程数是 96，最大内核数是 48，您可以根据什么来执行该数学运算您选择的 EC2 类型以确定可能的线程数。
如果我帮助您解决了您的问题，您介意将此标记为正确答案吗？我将不胜感激，谢谢。
我以为你说它不依赖于 EC2 而只依赖于 S3 ？我现在很困惑。
只有 S3，我以为你想在 CPU 上启动多个线程。忽略我的其他评论。