如何查找蜘蛛抓取的页面数

【问题标题】：How to find the number of pages scraped by spider如何查找蜘蛛抓取的页面数
【发布时间】：2017-05-23 13:00:22
【问题描述】：

我在 Python 中使用 Scrapy 从网站上抓取数据。

我成功地从网站上抓取了数据，但我想知道我的蜘蛛抓取了多少页。

Scrapy 统计数据如下：

【问题讨论】：

【解决方案1】：

虽然scrapy 使用requests 请求页面并从网络服务器获取responses，但标记为此类的统计信息是有用的。

downloader/request_count: 421
downloader/response_count: 421
downloader/response_status_count/200: 420
downloader/response_status_count/404: 1

所以scrapy 发出了 421 个请求并获得了 420 次有效响应（代码 200）。有一次没有响应（代码 404）。

【讨论】：

【解决方案2】：

420 页。

您可以从统计信息的downloader/response_status_count/200 字段中确定这一点。

【讨论】：