Scrapy框架的介绍

Scrapy是纯python的爬虫框架,专门用python语法爬取网络数据的,用户只需要定制几个模块,就可以轻易的实现抓取网页的内容

scrapy架构图

Scripy框架的介绍和使用
scrapy engine(引擎):接收所有其他组件返回的信号,再发送信号传递给其他组件,执行相关的功能。
scheduler(调度器):负责接收引擎发来的request请求。再将请求传送给下载器,下载器下载东西,再传送给引擎。调度器在其中的作用很重要,可以去除重复,和调度请求。

分类:

技术点:

相关文章: