处理（排队）对调用速率受限外部 API 的 Web 服务的请求

Question

我有一个使用 Flask 框架公开的 Web 服务。

该服务作为外部API使用，每秒调用次数有限制。

在正常情况下，对我的 API 的多次调用会导致生成多个线程并调用外部 API，而对每秒的请求数没有任何控制。

有没有一种方法可以让我对 Web 服务的请求进行排队，然后以节流的方式调用外部 API。

也欢迎任何其他想法。

---

编辑：

1. 我已经知道外部 API 的速率（每秒 1 个请求）

2. 如果请求我的 API 的客户端在获得结果之前必须等待一段时间（几秒/分钟，具体取决于我的负载），我没问题。

3. 我不希望我的 API 客户端得到失败的结果。即我不希望他们一次又一次地打电话。如果我已经以可能的​​最大速率访问了外部 API，那么当速率下降时，对我的 API 的请求应该排队并处理。

4. 我读到了Celery 和Redis。我能否将 Web 服务调用排队到这些队列中并稍后处理它们？

Answer 1

一种方法是包装请求，这样速率限制失败将导致指数退避，直到找到可接受的速率。

在下面的示例中，它将不断重试请求，直到成功，每次失败时在请求之间等待的时间越来越长，直至允许重试的最大次数 (n_max)。它等待重​​试请求的秒数呈指数增长（1、2、4、8、16、32 等）。

这是一个使用requests 的示例。捕获错误和识别速率限制错误的细节将取决于您用于发出请求的库以及外部 api 返回的错误类型，但退避算法应该相同。

def call_backoff(request_func, n_max=10):
    n = 0
    while n < n_max:
        error = False
        try:
            response = request_func()
        except errors.HttpError as e:
            # You can test here if this is a rate error
            # and not some other error.  You can decide how to handle
            # other errors.
            error = True
            if not_a_rate_error:
                raise

         if response.status_code == 429:
             error = True

         if not error:
             return response

         milli = random.randint(1, 1000)
         secs = (2 ** n) + milli / 1000.0
         time.sleep(secs)
         n += 1

    # You can raise an error here if you'd like
    return None