1:在settings里面配置

scrapy-redis配置

2:scrapy-redis配置

 

下载scrapy-redis源码:粘贴到与scrapy。cfgt同目录下

 

同时在settings里面还可以配置redis的host和port以及password

同时在spider中:

scrapy-redis配置

需要让spider继承RedisSpider,而不是之前的scrapy的spider

同时还需要一个redis_key :

同时scrapy-redis配置

start_urls就可以不要了;

最后也就是最关键的一步就是:

需要在redis里面lpush一条起始url:

scrapy-redis配置

在redis里面url之前,程序会一直监听redis数据库,直到有了url之后才会去读取url请求;

 

相关文章:

  • 2021-06-06
  • 2021-07-14
猜你喜欢
  • 2022-01-17
  • 2021-07-12
  • 2022-12-23
  • 2021-07-17
  • 2021-04-26
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案