在 Node.js 中的单个 HTTP 请求中调用多个 HTTP 请求

Question

我正在尝试在单个 URL 调用中调用多个 URL，并将其 json 响应推送到一个数组中，然后将该数组发送给最终用户。

我的代码如下所示：

var express = require('express');

var main_router = express.Router();

var http = require('http');

urls = [
"http://localhost:3010/alm/build_tool",
"http://localhost:3010/alm/development_tool",
"http://localhost:3010/alm/project_architecture"];

var responses = [];

main_router.route('/')

.get(function (req, res) {

var completed_requests = 0;

for (url in urls) {

  http.get(url, function(res) {

    responses.push(res.body);

    completed_request++;

    if (completed_request == urls.length) {

        // All download done, process responses array
    }
  });
}
res.send(responses);
});

我也尝试过使用 npm 请求模块。 当我运行这段代码时，它只返回 NULL 或一些只有标题的随机输出。

我的目标是在单个节点获取请求中调用多个 URL，并将其 JSON 输出附加到数组中并发送给最终用户。

谢谢

Answer 1

来，试试这段代码，

const async = require('async');
const request = require('request');

function httpGet(url, callback) {
  const options = {
    url :  url,
    json : true
  };
  request(options,
    function(err, res, body) {
      callback(err, body);
    }
  );
}

const urls= [
  "http://localhost:3010/alm/build_tool",
  "http://localhost:3010/alm/development_tool",
  "http://localhost:3010/alm/project_architecture"
];

async.map(urls, httpGet, function (err, res){
  if (err) return console.log(err);
  console.log(res);
});

说明： 此代码使用async 和request 节点包。 async.map 根据定义需要 3 个参数，第一个是一个数组，第二个是您要使用该数组的每个元素调用的迭代器函数，以及在 async.map 完成处理时调用的回调函数。

map(arr, iterator, [callback])

通过将 arr 中的每个值映射到 迭代器函数。使用 arr 中的项目调用迭代器 以及完成处理时的回调。这些中的每一个 回调有 2 个参数：一个错误，以及转换后的项目 arr。如果迭代器将错误传递给其回调，则主回调 （对于 map 函数）立即调用错误。

注意：对迭代器函数的所有调用都是并行的。

在您的 httpGet 函数中，您使用传递的 url 调用 request 函数，并明确告知响应格式为 json。 request，处理完成后，调用回调函数，带三个参数，err - 如果有，res - 服务器响应，body - 响应正文。 如果request 中没有err，async.map 将这些回调的结果作为一个数组收集，并在最后将该数组传递给它的第三个回调函数。否则，如果 (err) 为真，async.map 函数将停止执行并使用 err 调用其回调。

Answer 2

我建议使用async 库。

async.map(urls, http.get, function(err, responses){
  if (err){
    // handle error
  }
  else {
    res.send responses
  }
})

上面的 sn-p 将对每个 url 并行执行 http.get 调用，并在收到所有响应后使用所有调用的结果调用您的回调函数。

如果要串联调用url，可以使用async.mapSeries。如果你想限制并发请求的数量，你可以使用async.mapLimit。