如何处理较大的节点 js 请求？

Question

如何为大节点js请求发送响应？我有一个 excel 表，其中包含更新价格的 10k 个项目。我正在从 UI 上传 excel 并在 API 中发送所有 JSON 数据以更新数据库中的价格。现在请求由于处理时间而超时。我该如何以适当的方式处理它？处理完所有项目后如何发送响应？

Answer 1

使用fs.createReadStream 处理大文件。

即如果您正在处理 csv 文件，您可以像这样处理每一行：

const fs = require("fs")
const csv = require("csv-parser")


function processFile() {

    fs.createReadStream("./my-file.csv")
    .pipe(
        csv()
      )
      .on("data", (data) => {
        const value = data.toString()
        // processing
      })
      .on("end", () => {
          console.log('Completed.')
          // send response 
      })
    }

 // watch for file changes. i.e. new. upload
 fs.watch('somedir', (eventType, filename) => {
    if (filename === 'my-file.csv' && eventType === 'change') {
        processFile();
    }
  });