NodeJS 多站点网页抓取

Question

我正在学习 NodeJS，并试图从一个粉丝 wikia 中获取字符名称并将它们存储在 json 文件中。我有一个字符名称数组，我想遍历它们并从数组中的每个 url 中抓取每个字符名称。我遇到的问题是：

throw new Error('Can\'t set headers after they are sent.');

这是我目前的源代码：

var express = require('express');
var fs      = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app     = express();

app.get('/', function(req, res){

  var bosses = ["Boss1","Boss2"];
  for (boss in bosses) {



    url = 'http://wikiasiteexample.com/' + bosses[boss];

    request(url, function (error, response, html) {
      if (!error) {
        var $ = cheerio.load(html);
        var title;
        var json = { title: "" };

        $('.page-header__title').filter(function () {
          var data = $(this);
          title = data.text();
          json.title = title;
        })
      }


      fs.writeFile('output.json', JSON.stringify(json, null, 4),  {'flag':'a'},  function(err) {
        if (err) {
            return console.error(err);
        }
    });

      res.send('Check your console!')
    })
  }  
})


app.listen('8081')
console.log('Running on port 8081');
exports = module.exports = app;

Answer 1

对于您提出的每个请求，您都会致电 res.send()。

您的 HTTP 请求只能有一个响应，因此会报错。

您必须只调用一次res.send()。
Promise（和Promise.all()）会帮助你做到这一点。