Nodejs发送部分响应不起作用

Question

我需要从 nodejs 发送部分响应，但此代码不起作用。 它会立即从数据库中获取 500 条记录，然后逐条处理每条记录。我想从 node.js 发送部分响应。如果我将数据存储在数组中，则会发生缓冲区溢出错误。

var exportData = function (req, res, next) {

    var limit = 500;
    var responseCount = 0;
    var loopCount = 1;
    var size = 30000;

    //Get 500 records at one time
    var getData = function (req, start, cb) {
        req.db.collection('items').find().skip(start).limit(limit).toArray(function (err, records) {
            if (err) throw err;
            cb(null, records);
        });
    };

    if (size > limit) {
        loopCount = parseInt(req.size / limit);

        if ((req.size % limit) != 0) {
            loopCount += 1;
        }
    }

    for (var j = 0; j < loopCount; j++) {

        getData(req, limit * j, function (err, records) {

            if (err) throw err;

            records.forEach(function (record) {
                //Process record one by one
            });

            res.write(records);

            if (++responseCount == loopCount) {
                res.setHeader('Content-type', 'application/csv');
                res.setHeader("Content-disposition", 'attachment; filename="import.csv"');
                res.end();

            }

        });
    }
};

Answer 1

来自 cmets： 您应该尝试流式传输。您的问题可能是因为您一次加载这么多记录的内存不足 - 您说您遇到溢出异常，所以可能是这种情况。这是使用 express/http.Server 进行流式传输的示例。我不能保证它有效，因为我从未使用 express/http.Server 进行流式传输，但它应该为您提供一个起点。

请注意，您通过管道发送到 result 的任何内容必须是字符串。

var through = require('through');

function exportData(request, result) {
  var limit = 500;

  res.setHeader('Content-type', 'application/csv');
  res.setHeader('Content-disposition', 'attachment: filename="import.csv"');

  req.db.collection('items')
    .find()
    .limit(limit)
    .stream()
    .pipe(through(function(record) {
      var processedRecord = processRecord(record);
      this.write(processedRecord);
    }))
    .pipe(result);
}


function processRecord(record) {
  // process record one by one
  return record;
}