我的金字塔应用程序中的严重缺陷答案

【问题标题】：Nasty Flaw in my Pyramid Application我的金字塔应用程序中的严重缺陷
【发布时间】：2013-02-02 16:37:59
【问题描述】：

我刚刚发现我的 Pyramid 应用程序存在一个非常大的问题。 mongo 脚手架暗示事件处理程序也应该用于处理数据库连接。这个想法是，当新请求进来时，连接到数据库，当页面呈现断开连接时。所以这就是我所做的，在我的__init.py__

def connectDatabase(event):
    mongo = MongoDB()
    con = mongo.connectDatabase()
    db = con[Cfg_MongoDB_Database]
    event.request.con = con
    event.request.db = db
    redis = Redis()
    con = redis.connectDatabase()
    event.request.redis = con
    log.debug('newrequest')

def closeConnection(event):
    mongo = MongoDB()
    mongo.closeConnection(event.request.con) 
    log.debug('newresponse')   

def main(global_config, **settings):
    config = Configurator(settings=settings, root_factory=Dashboard)
    authentication = AuthTktAuthenticationPolicy(Cfg_Auth_Key, hashalg='sha512',\
        include_ip=False, timeout=3600*24*7, max_age=3600*24*7, reissue_time=3600)
    authorization = ACLAuthorizationPolicy()
    config.set_authentication_policy(authentication)
    config.set_authorization_policy(authorization)
    config.add_static_view('includes', 'includes', cache_max_age=3600)
    config.add_renderer(".html", "pyramid.mako_templating.renderer_factory")  
    config.add_route('dash', '/')
    config.add_subscriber(connectDatabase, NewRequest)
    config.add_subscriber(closeConnection, NewResponse)
    log.debug('main')
    config.scan()
    return config.make_wsgi_app()

但是，我将一些记录器放入连接到数据库的方法中，并发现该方法被调用了 10 多次，并且如果我在 add_static_view 中禁用缓存超过 100 次。这意味着对于每个 css、image、js，都会建立新的连接。这是巨大的开销！站点连接数据库 100 次需要 300 毫秒！

/Users/jan/Documents/Test2/test2/data.py changed; reloading...
-------------------- Restarting --------------------
2013-02-01 18:32:48,351 DEBUG [test2.tools][MainThread] main
Starting server in PID 12374.
serving on http://127.0.0.1:6543
2013-02-01 18:34:14,451 DEBUG [test2.tools][Dummy-2] newrequest
2013-02-01 18:34:14,582 DEBUG [test2.tools][Dummy-2] newresponse
2013-02-01 18:34:14,952 DEBUG [test2.tools][Dummy-3] newrequest
2013-02-01 18:34:14,953 DEBUG [test2.tools][Dummy-3] newresponse
2013-02-01 18:34:17,459 DEBUG [test2.tools][Dummy-4] newrequest
2013-02-01 18:34:17,474 DEBUG [test2.tools][Dummy-4] newresponse
2013-02-01 18:34:17,482 DEBUG [test2.tools][Dummy-5] newrequest
2013-02-01 18:34:17,497 DEBUG [test2.tools][Dummy-5] newresponse
2013-02-01 18:34:19,158 DEBUG [test2.tools][Dummy-2] newrequest
2013-02-01 18:34:19,159 DEBUG [test2.tools][Dummy-2] newresponse

所以到目前为止的解决方案是将连接移至模型。但是我怎么知道什么时候可以关闭连接？对于我的问题，有人有更好、更优雅的解决方案吗？

【问题讨论】：

保持打开状态。它会正常工作的。
生产金字塔不应该为您的静态媒体提供服务，但我意识到这并不能解决您的全部问题......，pymongo 内置了连接池@987654321@
是的，我将在生产中使用 apache + mod_wsgi。无论哪种方式，我都觉得建立新的连接有点开销。你们如何看待在 wsgi 中间件中建立连接并将其与环境一起传递？坏主意？
另外，我完成后如何将连接返回到池中？

标签： python database pyramid

【解决方案1】：

pymongo 内置了连接池@987654321@

使用连接池不应该在每个请求上都创建一个新连接

另外，我认为您的金字塔应用程序不应该正是出于这个原因在生产中提供静态媒体，apache、nginx 已针对提供文件进行了优化，您的请求不必通过您的应用程序

【讨论】：

我已经使用 apachebenchmark 对 200 个请求和 50 个并发进行了测试。 Auto_Start_Request=False 配置 with start_request() 产生最佳结果。
但是现在我想通过某种 wsgi 中间件仅使用 1 个 Connection 实例进行测试。知道如何实现吗？

【解决方案2】：

在 Pyramid 中执行此操作的推荐方法是使用请求属性，而不是 NewRequest 事件。如您所见，每个请求都会触发该事件，包括静态请求。请求属性是惰性的，仅在您需要它们时才进行评估，并且您可以指定它们在请求的生命周期内被缓存（具体化）。我在下面链接了一个示例，该示例演示了如何添加request.db。

https://raw.github.com/Pylons/pyramid_cookbook/master/database/mongodb.rst

以下是一些更新后的代码，应该适合您。

def main(global_config, **settings):
    # ...

    db_url = urlparse(settings['mongo_uri'])
    config.registry.db = pymongo.Connection(
        host=db_url.hostname,
        port=db_url.port,
    )

    def add_db(request):
        db = config.registry.db[db_url.path[1:]]
        if db_url.username and db_url.password:
            db.authenticate(db_url.username, db_url.password)
        return db

    config.add_request_method(add_db, 'db', reify=True)

【讨论】：