今天打算尝试自己写一个爬虫,需要用到scrapy框架,搜索许久,发现虽然有很多教你如何在Linux下搭建scrapy的教程,但教你在win平台下用vscode搭建scrapy的教程并不多。
作为浅尝爬虫+懒癌晚期来说,个人觉得在win平台下尝试写写爬虫应该是足够了吧。。。
本着这种想法,自己尝试了下在win10下搭建scrapy,发现过程并非一帆风顺。于是写下此文记录安装过程,以飨读者 (怕自己二次搭建时完全忘掉)。。。
当然如果有条件的话,还是用Linux会好一些,至于为什么好。。。也许是比较酷吧 。。逃
第一步
安装twisted
在百度搜索pypi或点击如下链接:
搜索twisted选择最新的那个并下载就可以了。
下载后解压缩,执行文件夹中的setup.py就可以了。
第二步
打开vscode,按快捷键 ctrl + ~ 切换至终端,并在终端中输入
pip install scrapy
然后按下回车
第三步
解决报错问题
creating build\lib.win32-3.7\twisCommand "c:\users\...\appdata\local\programs\python\python37-32\python.exe -u -c "import setuptools, tokenize;__file__='C:\\Users\\...\\AppData\\Local\\Temp\\pip-install-27hwitnj\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record C:\Users\...\AppData\Local\Temp\pip-record-9jnvwlfd\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\...\AppData\Local\Temp\pip-install-27hwitnj\Twisted\
这段报错的解决方法是从
https://blog.csdn.net/qq_38019321/article/details/77369935
这里学习到的,各位可以参考一下链接里的解决方法。
#需要注意的是,下载twisted对应版本的whl文件要下载你系统中安装的Python的版本,而不是你系统的。
例如:我安装的是64位win10,但却安装了32位的Python3.7,因此我需要下载32位的whl文件。
即:Twisted-18.9.0-cp37-cp37m-win32.whl
其中 cp37 == python 3.7
win32 == 32位
第四步
安装whl文件。
复制你whl文件所在的路径!!!
我们重新打开vscode的终端窗口,输入pip install 并粘贴路径:
pip install D:\module\Twisted\Twisted-18.9.0-cp37-cp37m-win32.whl
按下回车即可。
第五步
重新在终端中输入
pip install scrapy
当出现Successfully的提示时,就说明你已经安装成功啦!