分布式与多线程

当你能够针对一个url进行请求，获取数据，继续请求的时候，说明你的爬虫已经可以自给自足的爬起来。但是这样的爬虫其效率将会严重限制在单进程效率极限之下，时间的主要消耗还是在请求返回的等待时间，如果想进一步提高效率那么多进程以及分布式就会你提高效率的最好手段。