直接从服务器将 csv 文件上传到 aws s3 存储桶

Question

祝大家周末愉快

我正在处理一项从 API 获取数据然后将它们存储到 csv 文件然后从那里直接上传到 AWS S3 存储桶的任务。我已经尝试了几种方法，但我目前被困在最后一点。任何帮助将不胜感激

我下面的代码将展示大部分问题以及我迄今为止一直在尝试的内容。

• 首先，我将从 API 获取数据

async systems() {
        const endpoint = sampleEndPoints.SYSTEMS
        return this.aggregateEndpoint(endpoint)
    }

• 其次，我将获取取回的数据并将它们作为缓冲区放入 csv 文件中。 （因为我稍后必须将它们存储在fs.createReadStream）

// generate JSON to Buffer
    async generateCsvToBuffer(json){
            const {aws} = this.config
            var ws = xlsx.utils.json_to_sheet(json)

            var wb = xlsx.utils.book_new();

          await xlsx.utils.book_append_sheet(wb, ws, 'Systems')

            const csvParsed = xlsx.write(wb, { type: 'buffer'})


            return csvParsed;
    }

• 第三，我从csvParsed 获得buffer data，以便将upload 发送到亚马逊AWS S3。问题就在这里，Body: fileStream.path 应该显示文件的 content 但不幸的是，它像这样从fs.createReadStream 注销

'{"type":"Buffer","data":[80,75,3,4,10,0,0,0,0,0,249,117,199,78,214,146,124

 async uploadSample(file){
        const {aws} = this.config

        AWS.config.update({
          secretAccessKey: aws.secretAccessKey,
          accessKeyId: aws.accessKeyId,
          region: 'us-east-2'
        })


        const bufferObject = new Buffer.from(JSON.stringify(file))


     /*** WE NEED THE FILE SYSTEM IN ORDER TO STORE  */
        const fileStream = fs.createReadStream(bufferObject)


        const uploadParams = {Bucket: aws.bucket, Key: aws.key, Body: fileStream.path}


        const s3 = new AWS.S3()
       await s3.upload(uploadParams,null,function(error, file){
          if(error){
            console.log(error)
          } else {
            console.log('Successfully uploaded')
          }
        })
    }

• 我的所有函数都将在server.js 中执行。因此，如果您查看此内容，您实际上可以了解问题的全貌

app.get('/systems/parsed', async(req, res) => {
    const Sample = await Sample()

//Fetch the data from an API 
    const systems = await Cache.remember('systems', async() => {
        return Sample.systems()
    })
    const integration = await IntegrationInstance()

/** GET THE RESPONSE DATA AND PUT THEM IN A CSV FILE*/
    const result = await integration.generateCsvToBuffer(systems)

    const aws = await AwsInstance()

/*** GET THE SYSTEMS FILE (CSV FILE) THEN UPLOAD THEM INTO THE AWS S3 BUCKET*/

    const awsUpload = await aws.uploadWorkedWithBuffer(result)


    return res.send(awsUpload);
})

• 我唯一关心的是，文件已成功上传到 Amazon AWS S3，但文件内容仍在 Buffer 中。对现有功能的任何帮助/任何更短的方法将不胜感激。

• 这是我的总结：从服务器获取数据 -> 将 Csv 文件作为缓冲区但从 Web 浏览器放入 -> 并从那里将其上传到 Amazon AWS S3 存储桶 -> 问题是文件已上传但文件的内容还在缓冲区中。

Answer 1

我真的解决了。

• 首先，每当您创建函数generateCsvToBuffer 时，请记住在您的wb（工作簿）上有一个bookType，以便s3 识别它。函数应该是这样的

    async generateCsvToBuffer(json){
            const {aws} = this.config
            var ws = xlsx.utils.json_to_sheet(json)

            var wb = xlsx.utils.book_new();

          await xlsx.utils.book_append_sheet(wb, ws, 'Systems')

            const csvParsed = xlsx.write(wb, { type: 'buffer', bookType: 'csv'})

            return csvParsed;
    }

• 其次，您必须将 Content-Disposition: attachment 导入到 uploadParams 中以进行 Aws 配置

 async uploadSample(file){
        const {aws} = this.config

        AWS.config.update({
          secretAccessKey: aws.secretAccessKey,
          accessKeyId: aws.accessKeyId,
          region: 'us-east-2'
        })


        const bufferObject = new Buffer.from(JSON.stringify(file))


     /*** WE NEED THE FILE SYSTEM IN ORDER TO STORE  */
        const fileStream = fs.createReadStream(bufferObject)


        const uploadParams = {Bucket: aws.bucket, Key: aws.key, Body: fileStream.path}


        const s3 = new AWS.S3()
       await s3.upload(uploadParams,null,function(error, file){
          if(error){
            console.log(error)
          } else {
            console.log('Successfully uploaded')
          }
        })
    }

Answer 2

看起来你在这里让事情变得比必要的复杂。根据文档.upload，您可以直接将缓冲区传递给上传，而不是从缓冲区创建流。我怀疑您的根本问题是从流而不是流本身传递路径。