一、开发环境的搭建

1.安装mysql
2.安装navicat for mysql

二、虚拟环境的搭建

1.创建cmd.bat
1)在桌面新建cmd.bat,里面输入cmd,保存
2.安装驱动
1)pip install mkvirtualenvwrapper-win
pip install mkvirtualenv
pip install mkvirtualenvwrapper
2)mk virtualenv -p C:\anaconda3\python.exe article_spider
即先选中要作为虚拟环境的python,再构建名为article_spider的文件夹
cd到文件目录内,然后输入activate即可**虚拟环境
Python分布式爬虫1
图中红框内即为虚拟环境文件夹的位置
3.安装lxml,twisted,pywin32
网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/
cmd中先进入到下载路径,然后
pip install -i https://pypi.douban.com/simple “下载下来的文件名”
4.安装scrapy
pip install -i https://pypi.douban.com/simple scrapy
即为使用豆瓣镜像源进行安装
5.创建project
进入到虚拟环境,然后输入scrapy startproject ArticleSpider即可创建
6.配置pycharm解释器
file-settings-搜索interpreter-add-existing environment-找到虚拟环境下的python.exe

相关文章:

  • 2022-12-23
  • 2021-05-22
  • 2021-06-13
  • 2021-08-11
  • 2022-01-29
  • 2022-01-17
  • 2021-12-14
猜你喜欢
  • 2021-11-30
  • 2022-02-07
  • 2021-06-24
  • 2022-01-01
  • 2021-10-01
  • 2021-09-03
相关资源
相似解决方案