aws-sdk 使用 node.js 分段上传到 s3

Question

我正在尝试使用节点 js aws-sdk V3 将文件上传到 s3 存储桶。

我知道我应该使用以下命令：CreateMultipartUploadCommand、UploadPartCommand等等。但我找不到完整分段上传的任何工作示例。

任何人都可以分享任何代码示例吗？

提前致谢

Answer 1

为此我整理了一些代码：https://gist.github.com/kbanman/0aa36ffe415cdc6c44293bc3ddb6448e

我们的想法是每当我们在流中接收到一大块数据时将一部分上传到 S3，然后在流完成时完成上传。

让事情变得复杂的是，除了该系列的最后一部分之外，S3 的最小部分大小为 5MB。这意味着我们需要缓冲数据，直到我们可以形成那些 5MB 的块。我使用一个转换器来完成此操作，该转换器在每个块上传之间的内容流上添加背压。

由于 S3 坚持按顺序接收部件（尽管要求对部件进行编号），并行化也变得困难。