将 S3 存储桶的内容复制到另一个存储桶 |节点JS答案

【问题标题】：Copy the contents of S3 bucket to another bucket | Node JS将 S3 存储桶的内容复制到另一个存储桶 |节点JS
【发布时间】：2020-06-30 01:11:21
【问题描述】：

我想使用 AWS Lambda (NodeJs) 将 S3 存储桶的所有内容复制到另一个 S3 存储桶（在同一账户中）。

现在，我要做的是列出源存储桶的内容，然后将它们复制到目标存储桶中。

有没有更好的方法来复制所有内容？ 简而言之，我想要一个重复的存储桶。

我在 NodeJs 中的代码是：

    s3.listObjects(sourceBucketParams, function(err, data) {

        if (err) {
          console.log("Error while copying files: ", err);
        }

        if (data === null || data === undefined) {
            callback(null, 'All done!');
        }

        if (data.Contents.length) {
            async.each(data.Contents, function(file, cb) {

                var params = {
                    CopySource: sourceBucket + '/' + file.Key,
                    Bucket: destBucketName,
                    Key: file.Key,
                    ACL: 'public-read'
                };
                s3.copyObject(params, function(copyErr, copyData){
                       if (copyErr) {
                            console.log("Error: " + copyErr);
                         }
                     }
                 );
                 callback(null, 'All done!');
            });
        }
    });

【问题讨论】：

标签： node.js amazon-web-services amazon-s3

【解决方案1】：

AWS Lambda 似乎不适合这里的工作。如果复制花费的时间超过最大 Lambda 运行时间怎么办？您可以编写一些东西来获取所有对象的列表，然后为每个对象触发一次 Lambda 函数，但这似乎有点过头了。

如何运行一次性aws s3 synccommand 将一个存储桶的内容同步到另一个存储桶，然后使用 AWS S3 跨区域复制配置存储桶以自动复制添加到存储桶中的任何新对象未来？

【讨论】：