限制每个域的 urlfetch 速度

Question

有没有办法限制每个时间单位 urlfetch 向任何单个服务器发出的请求数？

我不小心对我正在抓取的网站进行了 DoS，因为异步 urlfetch api 使它分支直到它死亡（每个请求平均产生一个以上的新请求）。日志包含 ~200 个DeadlineExceeded，每个之间有一毫秒。

Answer 1

您可以使用time.sleep() 方法。在给定的秒数内暂停当前线程的执行。

import time
[...]
for u in urls:
    urllib2.urlopen(u, timeout=4)
    time.sleep(1)

https://docs.python.org/2/library/time.html#time.sleep