如何根据预签名 URL 写入 S3 存储桶中的现有文件？

Question

我一直在寻找一种从预签名 URL 写入 S3 存储桶中的 JSON 文件的方法。根据我的研究，它似乎可以完成，但这些不在 Node 中：

• http PUT a file to S3 presigned URLs using ruby
• PUT file to S3 with presigned URL
• Uploading a file to a S3 Presigned URL
• Write to a AWS S3 pre-signed url using Ruby
• How to create and read .txt file with fs.writeFile to AWS Lambda

没有从我的搜索中找到节点解决方案并使用第 3 方 API 我正在尝试将回调写入 S3 存储桶中的 JSON。我可以毫无问题地生成预签名 URL，但是当我尝试将虚拟文本写入预签名 URL 时，我得到：

错误：ENOENT：没有这样的文件或目录，打开 'https://path-to-file-with-signed-url'

当我尝试使用writeFile:

fs.writeFile(testURL, `This is a write test: ${Date.now()}`, function(err) {
  if(err) return err
  console.log("File written to")
})

我对@9​​87654331@ 下的documentation 的理解表明我可以使用URL。我开始相信这可能是权限问题，但我在文档中找不到任何运气。

在实现node-fetch 后，我仍然收到错误 (403 Forbidden) 根据预签名 URL 写入 S3 中的文件，这是我编写的模块的完整代码：

const aws = require('aws-sdk')
const config = require('../config.json')
const fetch = require('node-fetch')
const expireStamp = 604800 // 7 days

const existsModule = require('./existsModule')

module.exports = async function(toSignFile) {
  let checkJSON = await existsModule(`${toSignFile}.json`)
  if (checkJSON == true) {
    let testURL = await s3signing(`${toSignFile}.json`)
    fetch(testURL, {
      method: 'PUT',
      body: JSON.stringify(`This is a write test: ${Date.now()}`),
    }).then((res) => {
      console.log(res)
    }).catch((err) => {
      console.log(`Fetch issue: ${err}`)
    })
  }
}

async function s3signing(signFile) {
  const s3 = new aws.S3()
  aws.config.update({
    accessKeyId: config.aws.accessKey,
    secretAccessKey: config.aws.secretKey,
    region: config.aws.region,
  })
  params = {
    Bucket: config.aws.bucket,
    Key: signFile,
    Expires: expireStamp
  }
  try {
    // let signedURL = await s3.getSignedUrl('getObject', params)
    let signedURL = await s3.getSignedUrl('putObject', params)
    console.log('\x1b[36m%s\x1b[0m', `Signed URL: ${signedURL}`)
    return signedURL
  } catch (err) {
    return err
  }
}

查看权限我在权限中设置了上传和写入权限没有问题。在 Node 中，如何使用该文件的预签名 URL 作为路径写入 S3 存储桶中的文件？

Answer 1

fs 是 文件系统 模块。您不能将其用作 HTTP 客户端。

您可以使用内置的https 模块，但我认为您会发现使用node-fetch 更容易。

fetch('your signed URL here', {
  method: 'PUT',
  body: JSON.stringify(data),
  // more options and request headers and such here
}).then((res) => {
  // do something
}).catch((e) => {
  // do something else
});

Answer 2

正在寻找一种优雅的方式来使用 PUT 将 s3 文件传输到 s3 签名的 url。我发现的大多数示例都是使用 PUT({body : data})。我遇到了一个建议，将数据读取到可读流中，然后将其通过管道传输到 PUT。但是我仍然不喜欢将大文件加载到内存中然后将它们分配给 put 流的概念。管道读取到写入在内存和性能方面总是更好。由于 s3.getObject().createReadStream() 返回一个支持管道的请求对象，我们需要做的就是将其正确地通过管道传递给公开写入流的 PUT 请求。

获取对象函数

async function GetFileReadStream(key){  
    return new Promise(async (resolve,reject)=>{  
        var params = {
            Bucket: bucket, 
            Key: key
            };
        var fileSize = await  s3.headObject(params)
        .promise()
        .then(res => res.ContentLength);
        resolve( {stream : s3.getObject(params).createReadStream(),fileSize});
    });
}

放置对象函数

const request = require('request');
async function putStream(presignedUrl,readStream){
    return new Promise((resolve,reject)=>{
        var putRequestWriteStream =  request.put({url:presignedUrl,headers:{'Content-Type':'application/octet-stream','Content-Length':readStream.fileSize  }});
        putRequestWriteStream.on('response', function(response) {           
            var etag = response.headers['etag'];
            resolve(etag); 
            })
            .on('end', () => 
                console.log("put done"))
        readStream.stream.pipe(putRequestWriteStream);
    });
}

这适用于非常小的内存占用。享受吧。