windows系统scrapy框架的安装
scrapy框架是一个非常成熟的爬虫框架,其延展性与高效性历来被称道也因此被称为最通用的最好的爬虫框架我们可以用它来完成很多复杂的网络数据采集任务
下面是它最简单的安装方法也是最容易的主要有三个步骤。
-
安装python环境
直接到官网下载python下载安装步骤如下图所示:
1.点击运行
2.傻瓜式下一步直到图下所示,把Add python to Path 勾选上,继续下一步傻瓜式安装直到安装完成
3.检测是否正确安装python如果出现如下界面证明python 已经正确安装 -
下面正式安装scrapy
当然啦在安装之前先检测一下是否正确安装了pip,不过这个我觉得一般不用考虑这是极少数出现的bug,如何安装pip 这里不做讨论如果pip命令到时用不了只需要卸载python重新安装即可因为一般python安装时pip也一起被安装了
要安装scrapy必须要安装twisted一般来说直接pip install Twisted会经常会出现意外不到的错误,解决办法是到twisted下载将文件下载到本地然后用pip install twisted文件名安装,当然啦下载twisted时要注意对应版本比如我是python3.7 64位那就选64位的
pip install Twisted‑18.9.0‑cp37‑cp37m‑win_amd64.whl
安装完后再使用pip install scrapy 安装scrapy即可,如果出现
证明已经安装成功现在可以使用scrapy创建项目啦赶快试试吧