Urllib 和并发 - Python

Question

我正在通过 WSGI 提供一个 python 脚本。该脚本通过 urllib 访问网络资源，计算资源，然后返回一个值。

问题是 urllib 似乎无法处理对精确 URL 的许多并发请求。

一旦请求达到 30 个并发请求，请求就会变得缓慢！ :(

---

我们将不胜感激！ :D

Answer 1

是的，urllib 不做太多并发。每次urlopen 时，它都必须建立连接、发送 HTTP 请求并从响应中获取状态码和标头（并可能从那里处理重定向）。因此，尽管您可以按照自己的节奏阅读响应正文，但请求的大部分等待时间已经发生。

如果你需要更多的并发性，你可能不得不选择某种异步网络 IO 工具（例如，Eventlet 似乎在其首页上有一个合适的示例），或者只是在其中启动每个 urlopen自己的线程。