无法从蜘蛛（Scrapy）获取网址计数

Question

我正在尝试获取要在SitemapSpider 中抓取的网址数量。我试图覆盖start_requests 方法，但它打印出0。我有一个sitemap_url，其中包含数千个网址。我想统计一下这些网址。

这是我尝试过的，但我认为站点地图中的 URL 不在 start_urls 中。

class MainSpider(SitemapSpider):
    name = 'main_spider'
    allowed_domains = ['...']
    sitemap_urls = ['http://.../sitemap.xml']

    def start_requests(self):
        r = super(MainSpider, self).start_requests()
        self.urls_count = len(self.start_urls)
        print self.urls_count 
        return r

您知道如何获取号码吗？

Answer 1

您可以在下面使用。

class MainSpider(SitemapSpider):
    name = 'main_spider'
    allowed_domains = ['...']
    sitemap_urls = ['http://.../sitemap.xml']

    def start_requests(self):
        r = super(MainSpider, self).start_requests()
        r_list = list(r)
        print len(r_list)
        return r_list

super(MainSpider, self).start_requests() 返回一个生成器，列表将确保您获得完整的收益。但这会在大型站点地图的情况下减慢您的爬虫启动速度。实际的scrapy可能会延迟开始