@(Spider)[POSTS]

这里我使用的是Python3.x

1. Ubuntu上安装

在安装Scrapy之前,首先需要确定环境和版本:

  • Ubuntu16.04
  • Python3.5
  • Scrapy1.2

依赖安装:

sudo apt-get install build-essential
sudo apt-get install python3-dev
sudo apt-get install libxml2-de;
sudo apt-get install libxslt1-dev
sudo apt-get install python3-setuptools

lxml 安装:

sudo python3 -m pip install lxml

Scrapy安装:

sudo python3 -m pip install Scrapy

安装OpenSSL:

sudo python3 -m pip install pyopenssl

之前安装了python-dev和python-setuptools也要重新安装python3版本的这两个软件,即运行:

sudo apt-get install python3-dev
sudo apt-get install python3-setuptools

安装过程很简单,若出现其他问题,根据实际情况解决即可。

2. Windows10上安装

在安装之前我们需要进行准备工作:

  • 安装Python3.5

官网下载就好,https://www.python.org/downloads/release/python-352/

python -m pip install -upgrade pip

由于WindowsTwisted框架支持还不是很完善,并不能通过pip来安装,我们可以通过下列方式:

1. 安装Twistedlxml

到这个网址来下载已经做好的包:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

Ctrl+f查询lxml即可。

Scrapy002-框架安装

注意:cp35表示Python3.5,win32指的是Python的位数而不是Windows的系统位数

在cmd中使用pip工具,安装下载的wheel包即可。

pip install d:\Twisted-16.4.1-cp35-cp35m-win32.whl

pip install d:\lxml-3.6.4-cp35-cp35m-win32.whl

2. 安装Scrapy

pip install scrapy

3.依赖问题

安装完成后,启动时关于错误 ImportError

ImportError: cannot import name '_win32stdio'
ImportError: No module named 'win32api'

解决:

pip  install  win32api

若仍未解决,请到https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本安装即可解决。

相关文章:

  • 2021-04-19
  • 2021-08-31
  • 2021-05-31
  • 2021-08-05
  • 2021-05-27
  • 2021-11-04
  • 2021-08-23
  • 2021-10-23
猜你喜欢
  • 2021-07-02
  • 2021-12-02
  • 2021-12-18
  • 2021-12-20
  • 2021-05-29
  • 2021-10-11
  • 2022-01-09
相关资源
相似解决方案