安装
linux/mac 超简单
pip install scrapy -i https://pypi.douban.com/simple
windows（要装很多依赖）
- 1.scrapy依赖twiste，进⼊http://www.lfd.uci.edu/~gohlke/pythonlibs/ ，找到适合的版本
版本请打开cmd
输入python
前往不要觉得自己的电脑是多少位就装多少位的，要严格按照上显示安装对应的版本
-
2.在下载存放的⽬目录下安装
pip install 文件名
例如：pip install Twisted-18.9.0-cp37-cp37m-win_amd64.whl（这是我电脑对应的版本） -
3.进入虚拟环境安装pywin32（64位和32位都要装）
pip install pypiwin32 -
4 安装scrapy第三方库
-
pip install scrapy
-
scrapy框架图解
创建项目
scrapy startproject 项目名
- 创建spider(爬虫)
scrapy genspider 爬虫文件名 地址（）
setting文件配置
- 首先
ROBOTSTXT_OBEY = False （默认为True改为False）
FEED_EXPORT_ENCODING = ‘utf-8’
- 输出(scrapy crawl 项目名(是一个py文件) 生成文件名.格式 )
格式： (csv, xml, pickle, marshal)