如何配置 Pyramid + uWSGI + SQLAlchemy

Question

我正在使用 Python 3.5、Pyramid 1.7、uWSGI 2.0.11 和 SQLAlchemy 1.0.9。我听说当使用 uWSGI 和多个 worker 时，我们应该使用 uWSGI postfork 函数来连接到 SQLAlchemy 数据库。否则 SQLAlchemy 将在不同的分叉之间共享连接池，从而导致问题：

• Preforking
• SQL alchemy with multiple workers
• Integrating uWSGI & Cassandra avoiding Forking issues

按照这个建议，我在文件my_app/__ini__.py 上的金字塔应用程序中添加了这段代码，用于在postfork 事件之后创建连接引擎：

def main(global_config, **settings):

    try:
        from uwsgidecorators import postfork
    except ImportError:
        # We're not in a uWSGI context, no need to hook dbs connection
        # to the postfork event.
        engine = engine_from_config(settings, prefix='sqlalchemy.')

    else:
        @postfork
        def init():
            """ Initialize dbs connexions in the context.
                Ensures that a new connexion is returned for every new request.
            """
            global engine
            engine = engine_from_config(settings, prefix='sqlalchemy.')


    # Retrieves database connection
    def get_db(request):
        global engine
        connection = engine.connect()
        def disconnect(request):
            connection.close()
        request.add_finished_callback(disconnect)
        return connection

    config = Configurator(settings=settings, root_factory=my_factory)
    config.add_request_method(get_db, 'db', reify=True)
    config.scan()
    return config.make_wsgi_app() 

有经验的人能否确认这是否是在 uWSGI 中使用预分叉的正确方法？我有点困惑，因为我真的不明白是否在引擎创建期间或调用engine.connect()时定义了与某个池的连接@

Answer 1

您必须在分叉后做一件事，而且只能做一件事——在引擎上调用dispose() 方法。

根据 sqlalchemy 的文档：http://docs.sqlalchemy.org/en/latest/core/connections.html#engine-disposal

当程序使用多处理或 fork()，并且 Engine 对象被复制到子进程时，应调用 Engine.dispose() 以便引擎在该 fork 本地创建全新的数据库连接。数据库连接通常不会跨越进程边界。

根据记忆，我的代码如下所示：

engine = engine_from_config(settings, prefix='sqlalchemy.')

try:
    import uwsgi

    def postfork():
        engine.dispose()
    uwsgi.post_fork_hook = postfork

except ImportError:
    pass

scoped_session 处理池中的关闭/释放连接——没有dispose，您将面临多个工作人员独立管理同一个数据库连接的风险。

tldr; fork-safe 和 thread-safe 在 python 中是不同的概念。 （另见http://www.dctrwatson.com/2010/09/python-thread-safe-does-not-mean-fork-safe/）。

Answer 2

“我听说当使用 uWSGI 和多个 worker 时，我们应该使用 uWSGI postfork 函数来连接到 SQLAlchemy 数据库。否则 SQLAlchemy 将在不同的 fork 之间共享连接池，从而导致问题。” [需要引用] :)

根据我的经验，标准 SQLAlchemy 设置与 UWSGI 的多进程或多线程模型没有任何问题，并且应用程序根本不需要了解 UWSGI。

SQLAlchemy 的 Session 对象，当配置为 scoped_session 时，是线程本地的，所以虽然看起来你在线程之间共享一个全局变量，但该变量实际上代表每个线程中的单个连接/事务。

如果您使用 UWSGI 预分叉而不是读取，则可以使用 scoped_session 的 scopefunc 参数使其为每个工作人员返回不同的连接 - 我想您可以使用 uwsgi.worker_id() 作为散列键。

我也不太明白你想用def get_db() 实现什么，但它看起来非常可疑 - 看起来你在每次请求时都打开和关闭与数据库的新连接，即 ewww ... :) 我建议您看一下stock Pyramid scaffolds 之一，它说明了如何使用 Pyramid 配置 SQLAlchemy。神奇的词是“ZopeTransactionExtension”和“scoped_session”，如图here