问题起因
由于scrapy中有自带的spidermiddlewares去过滤我们yield进来的request请求，很多时候会导致爬取数据缺失会直接一部分跳过。
常见情景：
可以发现，最常见的就是spidermiddlewares.offsite过滤，官方文档也说明了：
我收到了 “Filtered offsite request” 消息。如何修复？
这些消息(以 DEBUG 所记录)并不意味着有问题，所以你可以不修复它们。
这些消息由Offsite Spider中间件(Middleware)所抛出。 该(默认启用的)中间件筛选出了不属于当前spider的站点请求。
文档地址：Scrapy常见问题(FAQ)
解决问题
在Request方法里，提供了dont_filter参数，设置在Request中，并改成True以回避过滤策略