【问题标题】:Is s3 sync supported from sdk instead of cli?s3 同步是否支持 sdk 而不是 cli?
【发布时间】:2018-02-16 00:24:06
【问题描述】:
Here 是关于如何使用 命令行 (cli) 中的sync 命令将文件从一个 s3 存储桶移动到另一个存储桶的答案:
aws s3 sync s3://from_my_bucket s3://to_my_other_bucket
这可以从 javascript sdk 调用吗?通过搜索,我没有找到任何 sync 命名方法。那么sdk支持吗?
【问题讨论】:
标签:
javascript
node.js
amazon-web-services
amazon-s3
aws-sdk
【解决方案2】:
我需要同步数千个文件,并决定使用AWS Data Pipeline 来完成它。我更新管道定义以从我的 Lambda 函数指向正确的源和目标文件夹,然后调用它。
它使用 2 个 S3DataNode 和一个 CopyActivity。
【解决方案3】:
我发现这篇关于使用 Node.JS 包“aws-sdk”克隆 S3 存储桶的文章非常有用:[Rajesh Babu 的节点克隆 S3 存储桶][1]
我在这里引用他的方法:
- 从存储桶和目标前缀中获取密钥列表。 (检查 AWS-SDK Javascript API)
- 分离文件和目录,因为我们克隆目录并下载文件。
- 首先克隆所有目录,然后继续下载文件。
- 通过流下载文件并分别记录成功和失败。
[1]:https://blog.bitsrc.io/a-practical-guide-to-building-a-node-js-service-on-an-aws-s3-bucket-aff19105ba83