从 nodejs 请求到 s3 的流式响应

Question

如何使用 request 下载文件内容并使用 aws-sdk for node 将其直接流式传输到 s3？

下面的代码给了我Object #<Request> has no method 'read'，这使得请求似乎没有返回可读流......

var req = require('request');
var s3 = new AWS.S3({params: {Bucket: myBucket, Key: s3Key}});
var imageStream = req.get(url)
    .on('response', function (response) {
      if (200 == response.statusCode) {
        //imageStream should be read()able by now right?
        s3.upload({Body: imageStream, ACL: "public-read", CacheControl: 5184000}, function (err, data) {  //2 months
          console.log(err,data);
        });
      }
    });
});

根据aws-sdk docs Body 需要是ReadableStream 对象。

我在这里做错了什么？

这可以使用s3-upload-stream 模块完成，但是我更愿意限制我的依赖项。

Answer 1

由于我在 request@2.60.0 和 aws-sdk@2.1.43 遇到了与 @JoshSantangelo（S3 上的零字节文件）相同的问题，因此让我使用 Node 自己的 http 模块添加替代解决方案（警告：来自真实项目的简化代码，未单独测试）：

var http = require('http');

function copyToS3(url, key, callback) {
    http.get(url, function onResponse(res) {
        if (res.statusCode >= 300) {
            return callback(new Error('error ' + res.statusCode + ' retrieving ' + url));
        }
        s3.upload({Key: key, Body: res}, callback);
    })
    .on('error', function onError(err) {
        return callback(err);
    });
}

据我所知，问题在于request 不完全支持当前的Node Stream API，而aws-sdk 依赖于它。

参考资料：

• request issue about the readable event not working right
• generic issue for "new streams" support in request
• usage of the readable event in aws-sdk

Answer 2

如果您手动侦听响应流，您想使用response 对象：

var req = require('request');
var s3 = new AWS.S3({params: {Bucket: myBucket, Key: s3Key}});
var imageStream = req.get(url)
    .on('response', function (response) {
      if (200 == response.statusCode) {
        s3.upload({Body: response, ACL: "public-read", CacheControl: 5184000}, function (err, data) {  //2 months
          console.log(err,data);
        });
      }
    });
});

Answer 3

Request 已被弃用，这里有一个利用 Axios 的解决方案

const AWS = require('aws-sdk');
const axios = require('axios');

const downloadAndUpload = async function(url, fileName) {
  const res = await axios({ url, method: 'GET', responseType: 'stream' });
  const s3 = new AWS.S3(); //Assumes AWS credentials in env vars or AWS config file
  const params = {
    Bucket: IMAGE_BUCKET, 
    Key: fileName,
    Body: res.data,
    ContentType: res.headers['content-type'],
  };
  return s3.upload(params).promise();
}

请注意，如果 AWS 凭证错误或丢失，当前版本的 AWS 开发工具包不会引发异常 - 承诺永远不会解决。