Scrapy stats 抓取的页面和页面/分钟

Question

有人可以帮我理解scrapy stats。 我正在尝试优化 aws 实例的抓取速度。 我目前的scrapy爬取速度是INFO: Crawled 32429 pages (at 72 pages/min), scraped 197 items (at 0 items/min)
如果 scrapy 以 72 页/分钟的速度爬行，那么 32429 页是什么？绝对不是 32429 页/秒...

Answer 1

Crawled X pages 是 Scrapy 在抓取时收到的 HTTP 响应的总量。

仅供参考，logstats module 负责您在控制台上看到的报告。