使用scrapy框架的朋友应该对于scrapy.Request比较熟悉,当我们在回调方法中产生一个Request时,Scrapy会安排发送安排该请求并回调一个方法,一边在该请求完成时执行。

使用此功能,可以根据定义的规则构建跟踪链接的复杂爬虫网站程序,并根据其访问的页面提取不同类型的数据。

scrapy框架scrapy.Reqest和response.follow的区别
而response.follow方法,从基类中观察,init方法初始化的数据基本相同。

与scrapy.Request
不同的是它直接支持相对路径url,无需调用urljoin。

从注释中可以知道,response.follow提供选择器方法,通过选择器提取必要的属性。response.follow自动使用包含链接的属性如:href。(贼鸡儿方便)
scrapy框架scrapy.Reqest和response.follow的区别

相关文章:

  • 2022-02-09
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2021-10-18
  • 2022-12-23
  • 2021-07-22
  • 2022-12-23
  • 2021-05-12
  • 2021-09-17
相关资源
相似解决方案