【发布时间】:2022-11-17 06:06:35
【问题描述】:
如何连续将一个 S3 存储桶复制到另一个存储桶?每次添加新文件时,我都想复制这些文件。
我试过使用 boto3 copy_object 但是我每次都需要密钥,如果我每次都得到一个新文件,这将不起作用。
【问题讨论】:
-
参见Replicating Objects。如果可以避免,不要自己构建它。
标签: python amazon-web-services amazon-s3 aws-lambda
如何连续将一个 S3 存储桶复制到另一个存储桶?每次添加新文件时,我都想复制这些文件。
我试过使用 boto3 copy_object 但是我每次都需要密钥,如果我每次都得到一个新文件,这将不起作用。
【问题讨论】:
标签: python amazon-web-services amazon-s3 aws-lambda
请看这个:https://aws.amazon.com/premiumsupport/knowledge-center/move-objects-s3-bucket/
您可以使用 aws cli s3 sync 命令来实现这一点。
【讨论】:
来自Replicating objects - Amazon Simple Storage Service:
在新对象写入存储桶时自动复制它们使用实时复制,例如同区域复制 (SRR) 或跨区域复制 (CRR)。
S3 Replication 将在创建新对象后立即自动在另一个存储桶中创建它们。 (好吧,这可能需要几秒钟。)
或者,您可以将 S3 存储桶配置为触发 AWS Lambda 函数使用
CopyObject()命令将对象复制到另一个位置。如果你想,这个方法很有用有选择地复制文件,通过让 Lambda 函数在执行复制之前执行一些逻辑(例如检查文件类型)。
【讨论】: