如何更改 Scrapy spider 中的 url 顺序？

Question

我正在从数千个网页中获取更新。可以有多个具有相同域的页面。我已将 DOWNLOAD_DELAY 设置为 1 秒，以免服务器过载。

Spider 运行良好，但如果同一域的 100 个 url 彼此相邻，它会减慢爬网速度，因为 Spider 必须在每次请求后等待 1 秒。

是否可以让它抓取具有不同域的下一个 url，这样蜘蛛就不必等待？

例如：

CONCURRENT_REQUESTS = 3
DOWNLOAD_DELAY = 1

网址：A.com/1 ,A.com/2 ,A.com/3 ,A.com/4 ,B.com/1 ,B.com/2 ,B.com/3

Spider 将开始抓取前三个 url。由于下载延迟，至少需要三秒钟。但如果它处理 B.com/1 而不是 A.com/2（例如），它会更快。

class MainSpider(scrapy.Spider):
    ...

    def __init__(self, scraping_round, frequencies=None):
        super(MainSpider, self).__init__())
        ...

    def start_requests(self):
        for url in self.urls:
            yield scrapy.Request(url=url, callback=self.parse, errback=self.err, dont_filter=True)

也许我应该重新排序urls 列表。

Answer 1

肯定是的，重新排序计划请求列表会有所帮助。可以这样做：

import random

class MainSpider(scrapy.Spider):
    # ....

    def start_requests(self):
        random.shuffle(self.urls)
        for url in self.urls:
            yield scrapy.Request(url=url, callback=self.parse, errback=self.err, dont_filter=True)

不幸的是，对随后在抓取时创建的请求进行重新排序更加困难，但也许这已经有所帮助。

另一个修复：大幅增加 CONCURRENT_REQUESTS。

如果您想并行抓取多个域，scrapy 文档建议将 CONCURRENT_REQUESTS 至少设置为 100：

https://doc.scrapy.org/en/latest/topics/broad-crawls.html#increase-concurrency

原因/详解

根据scrapy/core/downloader.py, engine.py, scraper.py and scrapy/core/downloader/handlers/http11.py 的源代码，scrapy 似乎从调度程序中填充了多达 CONCURRENT_REQUESTS 的处理队列，并在处理链的下游检查域以观察 CONCURRENT_REQUESTS_PER_DOMAIN。

如果调度程序连续包含一组针对同一域的请求，您可能会将针对同一域的多个请求拉入处理队列，从而有效地阻止其他域的处理。如果 CONCURRENT_REQUESTS 如您的示例所示非常低，则尤其可能发生这种情况。

这是此处描述的已知问题：https://github.com/scrapy/scrapy/issues/2474

替代解决方案

比将 CONCURRENT_REQUESTS 增加到一个非常高的值更好的解决方案是使用 https://github.com/scrapinghub/frontera 作为爬行边界......这基本上是按照您的建议进行的：重新排序计划的请求以获得最佳处理。

Answer 2

DOWNLOAD_DELAY 设置被应用于每个网站。

下载程序在从同一网站下载连续页面之前应等待的时间（以秒为单位）。这可用于限制爬取速度以避免对服务器造成太大影响。

来自文档：https://doc.scrapy.org/en/latest/topics/settings.html#download-delay

所以你想要的应该默认工作。当蜘蛛启动时，它会立即将start_urls 中的每个url 排队，然后对延迟等进行排序。