Twisted webapp 在生成 HTTP 响应时卡住答案

【问题标题】：Twisted webapp gets stuck when generating HTTP responseTwisted webapp 在生成 HTTP 响应时卡住
【发布时间】：2014-07-08 15:49:04
【问题描述】：

我使用 Twisted 和 SQLAlchemy 创建了一个 Web 应用程序。由于 SQLAlchemy 与 Twisted 基于回调的设计 (Twisted + SQLAlchemy and the best way to do it) 不能很好地协同工作，因此我在根资源中使用 deferToThread() 以便在其自己的线程中运行每个请求。虽然这通常有效，但大约 10% 的请求会“卡住”。这意味着当我单击浏览器中的链接时，请求由 Twisted 处理，相应资源的代码运行并生成 HTML 输出。但无论出于何种原因，该输出永远不会发送回浏览器。相反，Twisted 发送 HTTP 标头（连同正确的 Content-Length），但从不发送正文。连接只是无限期地保持打开状态，浏览器显示微调器图标。 Twisted 在日志文件中没有产生任何错误。

下面是一个最小的例子。如果要运行它，请将其保存为 .tac 扩展名，然后运行 twistd -noy example.tac。在我的服务器上，这个问题在这段特定的代码中似乎很少发生。使用 while true; do wget -O- 'http://server.example.com:8080' >/dev/null; done 之类的东西来测试它。

from twisted.web.server import Site
from twisted.application import service, internet
from twisted.web.resource import Resource
from twisted.internet import threads
from twisted.web.server import NOT_DONE_YET
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker
from sqlalchemy import create_engine, Column, Integer, String

Base = declarative_base()
class User(Base):
    '''A user account.'''
    __tablename__ = 'user'
    id = Column(Integer, primary_key=True)
    login = Column(String(64))


class WebInterface(Resource):

    def __init__(self):
        Resource.__init__(self)
        db_url = "mysql://user:password@mysql-server.example.com/myapp?charset=utf8"
        db_engine = create_engine(db_url, echo=False, pool_recycle=300) #discard connections after 300 seconds
        self.DBSession = sessionmaker(bind=db_engine)

    def on_request_done(self, _, request):
        '''All actions that need to be done after a request has been successfully handled.'''
        request.db_session.close()
        print('Session closed') #does get printed, so session should get closed properly


    def on_request_failed(self, err, call):
        '''What happens if the request failed on a network level, for example because the user aborted the request'''
        call.cancel()


    def on_error(self, err, request):
        '''What happens if an exception occurs during processing of the request'''
        request.setResponseCode(500)
        self.on_request_done(None, request)
        request.finish()
        return err 


    def getChild(self, name, request):
        '''We dispatch all requests to ourselves in order to be able to do the processing in separate threads'''
        return self


    def render(self, request):
        '''Dispatch the real work to a thread'''
        d = threads.deferToThread(self.do_work, request)
        d.addCallbacks(self.on_request_done, errback=self.on_error, callbackArgs=[request], errbackArgs=[request])
        #If the client aborts the request, we need to cancel it to avoid error messages from twisted
        request.notifyFinish().addErrback(self.on_request_failed, d)
        return NOT_DONE_YET


    def do_work(self, request):
        '''This method runs in thread context.'''
        db_session = self.DBSession()
        request.db_session = db_session
        user = db_session.query(User).first()

        body = 'Hello, {} '.format(user.login) * 1024 #generate some output data
        request.write(body)
        request.finish()


application = service.Application("My Testapp")
s = internet.TCPServer(8080, Site(WebInterface()), interface='0.0.0.0')
s.setServiceParent(application)

【问题讨论】：

这段代码在语法上不正确（缩进错误），即使它是正确的，即使它有所有必要的导入，它也不会执行任何操作并退出。即使它被添加到资源树中，它也会为get_the_correct_resource 引发NameError 并退出。请参阅sscce.org，了解如何制作有用的示例。
您很可能在错误的线程中调用了一些 Twisted API。其症状通常是“有时某些数据会消失或需要很长时间才能显示出来”。但如果没有 sscce.org，很难说更多。
@Glyph：好的，我修好了
缩进还是不正确；你真的测试过这个例子吗？
叹息...我在这里发布时弄乱了代码缩进，对不起。是的，我已经运行了代码。

标签： python twisted

【解决方案1】：

您可能没有关闭数据库连接或使用 SQLAlchemy 在数据库中出现死锁情况？我之前因为不关闭连接/不结束交易而被烧瓶锁住了。

【讨论】：

连接应该正确关闭，请参阅我添加的最小示例。
是吗？即使出错？即使出现错误，您也应该验证是否正在调用 on_request_done。因为它可能会锁定您选择的表。您正在运行什么数据库服务器。您可以通过在等待响应返回时重新启动数据库来检查这一点。

【解决方案2】：

我已经解决了这个问题。 @beiller，您的猜测非常接近它。从我的问题的源代码中可以看出，数据库会话在请求处理开始后打开，但两者以相同（而不是相反）的顺序关闭。在调用request.finish() 之前关闭会话，一切都很好。

【讨论】：