Windows下安装Scrap
简介
Scrapy 是 Python 开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试
安装Scrapy框架以及安装时出现的一系列错误解决方案
步骤如下：
- 打开cmd窗口，进入Script目录：cd Python37\Scripts
- 安装libxlm2dom包，输入pip install libxlm2dom
- 安装wheel，输入pip install wheel
- 安装 lxml，输入pip install lxml
- 安装PyOpenssl 包，输入pip install PyOpenssl
- 安装inzope.interfnce，输入pip install inzope.interfnce
- 安装twisted，输入pip install twisted，出现了
Microsoft Visual C++ 14.0 is required的错误，网上搜索得知，需要自己去下载twisted（whl文件）并安装 - 了解清楚要下载的whl文件版本：在cmd输入 python ,直接出显示python版本，然后下载对应whl文件(
pyhton3.7对应为cp37，操作系统64对应amd64)；或者接着输入import pip._internal回车，再输入print(pip._internal.pep425tags.get_supported())，显示出你的pip支持的版本，根据这个版本下载相应的whl文件。 -
接着我点击链接地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted进入下载页面，结果发现最新版本python37压根下载不了，图示如下：
点击进入后为404错误页面（路径不存在） 再之后进入Twisted官网https://pypi.org/project/Twisted/，发现只有cp27版本可供下载，与我所需版本不符。
-
再搜索一番后查询到http://fstab.net/pypi/simple/twisted/可以找到twisted历史版本，不过目前最新只有cp36版本
下载Twisted-18.7.0-cp36-cp36m-win_amd64.whl文件到本地
-
抱着侥幸心理，安装cp36文件，输入pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl，结果报错
我修改whl文件cp36为cp37，再输入pip install Twisted-18.7.0-cp37-cp37m-win_amd64.whl，结果正常安装
- 继续安装pywin32,输入pip install pywin32
- 安装scrapy，输入pip install scrapy
验证scrapy是否安装成功
-
在命令行中输入scrapy，出现如下界面，则表示安装成功。