-
创建Scrapy项目
1、在终端使用“scrapy startproject”命令创建一个Scrapy项目
格式为：scrapy startproject+项目名称
2、进入项目，使用“scrapy genspider”命令创建一个爬虫
格式为：scrapy genspider+爬虫名+网站域名
-
scrapy项目结构
items.py：负责数据模型的建立，类似于实体类。
middlewares.py：自己定义的中间件。
pipelines.py：负责对spider返回数据的处理。
settings.py：负责对整个爬虫的配置。
spiders目录：负责存放继承自scrapy的爬虫类。
scrapy.cfg：scrapy基础配置