像瀑布一样异步执行 forEach

Question

我正在尝试使用 Google API 通过 Node.js 脚本从地址列表中检索经度和纬度。调用本身工作正常，但因为我有大约 100 个地址要提交。我在数组上使用了async.forEach，但调用速度太快，并且出现错误“您已超出此 API 的速率限制。”

我发现呼叫次数限制为每 24 小时 2500 次，每秒最多 10 次。虽然我可以接受每天 2500 次的通话，但由于速率限制，我的通话速度太快了。

我现在必须编写一个函数来延迟调用，使其不会达到限制。这是我的代码示例：

async.forEach(final_json, function(item, callback) {
    var path = '/maps/api/geocode/json?address='+encodeURIComponent(item.main_address)+'&sensor=false';
    console.log(path);
    var options = {
      host: 'maps.googleapis.com',
      port: 80,
      path: path,
      method: 'GET',
      headers: {
        'Content-Type': 'application/json'
      }
    }
    // a function I have who makes the http GET
    rest.getJSON(options, function(statusCode, res) {
      console.log(res);
      callback();
    });
}, function() {
  // do something once all the calls have been made
});

您将如何继续实现这一目标？我尝试将我的rest.getJSON 放在 100 毫秒内 setTimeout 但forEach 迭代所有行的速度非常快，以至于它几乎同时启动了所有setTimeout，因此它不会改变任何东西......

async.waterfall 看起来可以解决问题，但问题是我不知道我将拥有多少行，所以我无法对所有函数调用进行硬编码。老实说，这会让我的代码非常难看

Answer 1

这个想法是，您可以创建一个 rateLimited 函数，该函数的行为与 throttled 或 debounced 函数非常相似，但任何不立即执行的调用都会排队并按速率限制时间段顺序运行过期了。

基本上，它创建并行的 1 秒间隔，通过计时器重新安排自行管理，但最多允许 perSecondLimit 间隔。

function rateLimit(perSecondLimit, fn) {
    var callsInLastSecond = 0;
    var queue = [];
    return function limited() {
        if(callsInLastSecond >= perSecondLimit) {
            queue.push([this,arguments]);
            return;
        }

        callsInLastSecond++;
        setTimeout(function() {
            callsInLastSecond--;
            var parms;
            if(parms = queue.shift()) {
                limited.apply(parms[0], parms[1]);
            }
        }, 1010);

        fn.apply(this, arguments);
    };
}

用法：

function thisFunctionWillBeCalledTooFast() {}
var limitedVersion = rateLimit(10, thisFunctionWillBeCalledTooFast);

// 10 calls will be launched immediately, then as the timer expires
// for each of those calls a new call will be launched in it's place.
for(var i = 0; i < 100; i++) {
    limitedVersion();
}

Answer 2

这是我将如何破解它（注意：arr 是您的位置数组）：

function populate(arr, callback, pos) {
    if(typeof pos == "undefined")
        pos=0;
    var path = '/maps/api/geocode/json?address='+encodeURIComponent(arr[pos].main_address)+'&sensor=false';
    console.log(path);
    var options = {
      host: 'maps.googleapis.com',
      port: 80,
      path: path,
      method: 'GET',
      headers: {
        'Content-Type': 'application/json'
      }
    }
    // a function I have who makes the http GET
    rest.getJSON(options, function(statusCode, res) {
      console.log(res);
    });
    pos++;

    if(pos<arr.length)
        setTimeout(function(){
            populate(arr,callback,pos);
        },110); //a little wiggle room since setTimeout isn't exact
    else
        callback();
}

您可以添加一个速率限制功能，但是恕我直言，它引入了不必要的复杂性。你真正想做的就是每隔十分之一秒左右调用一次函数，直到你完成你的列表，所以就这样做吧。

它当然不像替代方案那样可扩展，但我喜欢简单。