NodeJS 异步下载和上传内存流

Question

问题
您如何在 NodeJS 中完全通过 Streams（不使用文件系统）异步下载和（可恢复/多部分）上传大型 MP4 文件？

场景
我正在编写一个类文件，该文件涉及纯粹通过内存从 URL 流式下载到 Google Drive 或 Dropbox。

**文件大小在下载和上传之前是已知的。

视觉

==============
      ^(5%)  ^(10%)
Downloader

      ==============
            ^(5%)  ^(10%)
       Uploader

要求

1. 通过内存流传输（不在文件系统上存储任何内容）
2. 上传应该是多部分可恢复的，并且范围可以从 5 Mb 到 > 20 Gb。
3. 如果下载或上传失败，应该有一定的重试次数。

好奇心

1. 双工流（例如直通）是执行此操作的正确方法吗？
2. 如上图所示，您如何在异步方法中传达 Content-Length？

伪代码

const axios = require('axios');
const stream = require('stream');
const passtrough = new stream.PassThrough();

let sample = VideoAPI.get() // pass id
//sample.url // url located here
//sample.size // size is known prior to download or upload
//sample.contentType // content-type is known prior to download

//Download sample via Axios
axios.get(sample.url, {
    responseType: "stream"
}).then((response) => {
    //TODO: Pipe to Google Drive
    console.log('response', response)
}).catch((error) => {
    console.error(error)
})

研究

1. Upload to Google Drive w/ Passthrough Stream
2. Resumable upload
3. Webshot to Google Drive without Intermediate File

Answer 1

我认为你需要这样的东西：

request.get(sourceUrl).pipe(request.post(targetUrl))

在此方案中，数据将从 sourceUrl 流向 targetUrl，但不需要保存在服务器上的临时文件中。

如需澄清，请访问request#streaming

Answer 2

const formData = new FormData();

axios.get(sample.url, {
    responseType: "stream"
}).then((response) => {
    //TODO: Pipe to Google Drive
    // you can directly put the response stream onto the formData object.
    formData.append('files', response.data);
    return axios.post(googleURL,{headers:{...formData.getheaders()}, data: formData});
.then((response)=>{
//response from google
console.log(response.data);
})
}).catch((error) => {
    console.error(error)
})

//N.B. The response.data steam will be appended to the formData object, this is all done in memory. Make sure the responseType is set to stream.