如何让这个 Twisted Python 代理更快？

Question

下面的代码是用于内容过滤的 HTTP 代理。它使用 GET 将当前站点的 URL 发送到服务器，在服务器上处理它并做出响应。它运行非常、非常、非常慢。关于如何使其更快的任何想法？

代码如下：

from twisted.internet import reactor
from twisted.web import http
from twisted.web.proxy import Proxy, ProxyRequest
from Tkinter import *
#import win32api
import urllib2
import urllib
import os
import webbrowser

cwd = os.path.abspath(sys.argv[0])[0]
proxies = {}
user = "zachb"
class BlockingProxyRequest(ProxyRequest):
    def process(self):
        params = {}
        params['Location']= self.uri
        params['User'] = user
        params = urllib.urlencode(params)
        req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies)
        resp = req.read()
        req.close()
        if resp == "allow":
            pass
        else:
            self.transport.write('''BLOCKED BY ADMIN!''')
            self.transport.loseConnection()

        ProxyRequest.process(self)

class BlockingProxy(Proxy):
    requestFactory = BlockingProxyRequest
factory = http.HTTPFactory()
factory.protocol = BlockingProxy

reactor.listenTCP(8000, factory)
reactor.run()

有人对如何使这个运行更快有任何想法吗？或者更好的写法？

Answer 1

这个代理速度慢的主要原因可能是这三行：

    req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies)
    resp = req.read()
    req.close()

一个普通的基于 Twisted 的应用程序是单线程的。你必须竭尽全力让线程参与进来。这意味着无论何时有请求进来，您都会阻塞该 HTTP 请求上的唯一一个处理线程。在此 HTTP 请求完成之前，不会再处理任何请求。

尝试使用twisted.web.client 中的API 之一（例如Agent 或getPage）。这些 API 不会阻塞，因此您的服务器将同时处理并发请求。这应该会转化为更短的响应时间。