使用scrapy框架的朋友应该对于scrapy.Request比较熟悉,当我们在回调方法中产生一个Request时,Scrapy会安排发送安排该请求并回调一个方法,一边在该请求完成时执行。
使用此功能,可以根据定义的规则构建跟踪链接的复杂爬虫网站程序,并根据其访问的页面提取不同类型的数据。
而response.follow方法,从基类中观察,init方法初始化的数据基本相同。
与scrapy.Request
不同的是它直接支持相对路径url,无需调用urljoin。
从注释中可以知道,response.follow提供选择器方法,通过选择器提取必要的属性。response.follow自动使用包含链接的属性如:href。(贼鸡儿方便)