如何在多线程模式下使用 Gunicorn 运行 Flask答案

【问题标题】：How to run Flask with Gunicorn in multithreaded mode如何在多线程模式下使用 Gunicorn 运行 Flask
【发布时间】：2016-06-20 15:38:36
【问题描述】：

我有用 Flask 编写的 Web 应用程序。正如大家所建议的，我不能在生产中使用 Flask。所以我想到了Gunicorn with Flask。

在 Flask 应用程序中，我正在加载一些机器学习模型。它们的总大小为 8GB。我的 Web 应用程序的并发性可以达到 1000 个请求。机器内存为15GB。
那么运行这个应用程序的最佳方式是什么？

【问题讨论】：

【解决方案1】：

您可以使用 Gunicorn 使用多个工作人员或异步工作人员启动您的应用程序。

烧瓶服务器.py

from flask import Flask
app = Flask(__name__)

@app.route("/")
def hello():
    return "Hello World!"

if __name__ == "__main__":
    app.run()

带有 gevent 异步工作者的 Gunicorn

gunicorn server:app -k gevent --worker-connections 1000

Gunicorn 1 worker 12 个线程：

gunicorn server:app -w 1 --threads 12

Gunicorn 有 4 个工人（多处理）：

gunicorn server:app -w 4

【讨论】：

如果有多个工作人员，由于模型的大小很大，它会抛出内存不足异常。我认为每个工人都会将所有模型加载到不同的内存空间中
你需要使用像 gevent 这样的异步工作者来允许与一个工作者并发：gunicorn -k gevent --worker-connections 1000。
您还可以添加--threads 以使用指定的线程数运行每个worker。请参阅编辑。
如果我的 api 调用大约需要 1 秒，我应该使用哪种工作类型？
我将使用 gevent 和猴子补丁你的应用程序：stackoverflow.com/questions/29527351/…。你也可以看看 celery 来运行后台任务。

【解决方案2】：

最好的办法是使用 pre-fork 模式 (preload_app=True)。这将在“主”进程中初始化您的代码，然后简单地分叉工作进程来处理请求。如果您在 linux 上运行并假设您的模型是只读的，那么操作系统足够智能，可以在所有进程中重用物理内存。

【讨论】：

我发现的问题是，如果您正在运行数据库，他们会抱怨数据库实例不应该被分叉。就我而言，来自 pyMongo 的 MongoClient /usr/local/lib/python3.8/site-packages/pymongo/topology.py:164: UserWarning: MongoClient opened before fork. Create MongoClient only after forking.
是的，在这些情况下，您需要确保在分叉后初始化这些连接。之后应该没问题。