urllib3 连接管理答案

【问题标题】：urllib3 Connection Managementurllib3 连接管理
【发布时间】：2012-01-10 01:09:41
【问题描述】：

我正在使用 urllib3 通过 HTTP 一次又一次地查询在线 API 数千次（特别是超过 40,000 次）。
我注意到一开始，来自 API 的 HTTP GET 非常快（随着越来越多的 HTTP 请求被发出，响应时间减慢到几秒钟。

我的代码如下所示：

http = urllib3.PoolManager()
req = http.request(u'GET', URL)
doc = xml.dom.minidom.parseString(req.data)
nodes = doc.getElementsByTagName(ELEMENT_NAME)
for node in nodes:
    #process the node, this happens very very fast.

我错过了什么吗？谢谢！

【问题讨论】：

标签： http connection urllib3

【解决方案1】：

也许您正在使用的 API 正在限制您？

【讨论】：

我真的不这么认为，因为我以前用它来加载大量数据，但它很好......
对于它的价值，我想不出任何 urllib3 会导致这些症状的原因。或许可以尝试用另一个库做同样的事情？