如何将大量项目从一个 S3 Amazon 存储桶移动到另一个存储桶？

Question

我有 2 个 S3 Amazon 存储桶

• 旧东西
• 新东西

我希望将 10K 左右的项目列表从 Old Stuff 存储桶（它只是该存储桶中数据的一个子集）移动到 New Stuff 存储桶。

我不确定最好的方法。

我正在考虑利用他们的REST API，但没有什么能做到这一点。其次，我不确定他们的 API 是否能够处理批量移动 - 所以我需要一些关于如何最好地触发 10K 奇数 REST api 请求的建议......

请在 .NET 中首选任何代码示例。

最后，如果有人建议使用开源库来执行此操作.. 他们能否解释一下这些方法是否处理批量请求.. 如果不是.. 我怎样才能在短时间内处理这么多请求。

Answer 1

这只是一步之遥吗？

为什么不使用Cloudberry Explorer 或BucketExplorer 等GUI 工具。我很确定两者都可以进行并行操作。

如果您想或需要以编程方式执行此操作，您可以使用AWS .NET SDK's CopyObject 方法在存储桶之间复制文件。然后删除原始文件以完成移动。您可以将其包装在 Parallel.For 或任何其他用于并行/异步操作的内置库中。见Task Parallel Library。

我想没有什么能阻止您使用这些库来并行向 REST API 发出多个请求。