减少 Flask/Gunicorn 请求队列

Question

我有一个 Flask/Gunicorn 端点，它需要几秒钟才能返回并受到相当大的打击。 Gunicorn 似乎将很多请求排队并最终将它们全部处理，但是恰好添加到队列后面的请求最终会花费很长时间。

应用以gunicorn -w 4 -b :8080 运行。

有什么方法可以配置 Flask/Gunicorn 使其只在队列中保留 X 个请求？

Answer 1

可能你现在已经想通了，但是既然我遇到了这个问题，我不妨回答一下。

您提到的“请求队列”称为“积压”，基于docs，您可以通过将--backlog 参数传递给您的命令来更改它，因此它看起来像：

gunicorn -w 4 --backlog 1024 -b :8080

但请记住，如果请求的数量超过了您输入的数量，您的客户将开始看到错误。