带有异步请求的 NodeJS

Question

我遇到了对于 Node JS 初学者来说似乎是一个传统问题，以及异步请求。

我有未知数量的 URL 由用户生成，随后存储在我的 Node JS 服务器上的一个数组中。 Node JS 服务器必须遍历这些 URL，依次向每个 URL 发出请求。它必须按顺序这样做，并且必须等待每个响应才能移动到下一个 URL（当将发出新请求时）。最终结果应该是所有响应的有序集合（恰好是 JSON），作为 JSON 对象很好地存储在一起，准备好后又可以发送回客户端。

我认为我应该使用 async NodeJS 库，并且我已经在使用 needle 来发出请求。

URLs = ["http://a", "http://s", "http://d"];
async.eachSeries(URLs, function (URL, callback) { ..... });

我不清楚如何使用异步来确保 Needle 请求已完成，并在转到下一个 URL 请求之前相应地存储该响应。下面是我的 Needle 请求示例。

 needle.get(URL, options, function(error, response, body){ ... });

欢迎对整个问题提供部分或完整的解决方案。

Answer 1

有了 Promise，你可以做到这一点：

var Promise = require("bluebird");
var get = Promise.promisify(needle.get, needle);

var URLs = ["http://a", "http://s", "http://d"];
var current = Promise.fulfilled();
Promise.map(URLs, function (URL) {
    current = current.then(function () {
        return get(URL);
    });
    return current;
}).map(function(responseAndBody){
    return JSON.parse(responseAndBody[1]);
}).then(function (results) {
    console.log(results);
}).catch(function (e) {
    console.error(e);
});

另外，当网站的 json 无效或以错误消息/空正文响应时，您的服务器不会崩溃。手动编写时，您需要手动尝试捕获，但承诺会处理catch() 中的两种错误。由于 url 是由用户提供的，如果您不将手动 try-catch 添加到 non-promise 代码，他们可以轻松地拒绝您的服务器。

Answer 2

这里有两个例子，一个用async.eachSeries逐一保存结果，一个用async.mapSeries收集所有结果然后一次性保存

URLs = ["http://a", "http://s", "http://d"];
function iterator1(URL, done){
  var options = {};
  needle.get(URL, options, function(error, response, body){ 
    if(error){ return done(error) };
    processAndSaveInDB(body, function(err){
      if(err){ return done(err) };
      done(null);
    });
  });
};

async.eachSeries(URLs
, iterator1
, function (err){
  // global callback for async.eachSeries
  if(err){ 
    console.log(err) 
  } else {
    console.log('All Needle requests successful and saved');
  }
});

// Here is a similar technique using async.map, it may be more suitable
function iterator2(URL, done){
  var options = {};
  needle.get(URL, options, function(error, response, body){ 
    if(error){ return done(error) };
    done(null, body);
  });
};

async.mapSeries(URLs
, iterator2
, function (err, results){
  // global callback for async.mapSeries
  if(err){ 
    console.log(err) 
  } else {
    console.log('All Needle requests successful');
    // results is a 1 to 1 mapping in order of URLs > needle.body
    processAndSaveAllInDB(results, function(err){
      if(err){ return done(err) };
      console.log('All Needle requests saved');
      done(null);
    });
  }
});

我不清楚如何使用 async 来确保 Needle 请求已完成，并在移动到下一个 URL 请求之前相应地存储该响应。

异步函数的series 变体负责处理这个问题；您只需确保在准备好继续之前不要调用迭代器函数的 done 回调。在实践中，这意味着将调用 done 放在最里面的回调中（例如您的 Needle 回调）