1.使用cmd命令窗口下载工具包 scrapy_redis

基于scrapy_redis部署scrapy分布式爬虫

 2.使用PyCharm打开你的scrapy爬虫项目,找到settings.py文件,配置scrapy爬虫项目使用的调度器及过滤器

基于scrapy_redis部署scrapy分布式爬虫

基于scrapy_redis部署scrapy分布式爬虫

3.修改spiders目录下的爬虫文件

基于scrapy_redis部署scrapy分布式爬虫

 4.如果你的scrapy爬虫项目连接的有远程服务,例如MySql数据库,Redis数据库等,需要将远程服务连接开启,保证在其他的主机上能够成功连接。

mysql数据库的相关操作:我安装的mysql是8.0版本(社区版)以及它对应的数据可视化软件: Navicat 12 for MySQL

打开mysql服务的两种方式:

方式一:在cmd命令窗口输入net start mysql80打开服务

如果出现这种错误:

基于scrapy_redis部署scrapy分布式爬虫

以管理员身份运行cmd.exe即可

基于scrapy_redis部署scrapy分布式爬虫

关闭mysql服务输入net stop mysql80即可

总结:net start + 服务名  :启动windows中服务

          net stop + 服务名    :关闭windows中服务

注意:Windows中服务名不区分大小写

方式二:进入Windows中服务的选项,找到MySQL80服务

win键+R 输入 services.msc 点击确定 或者 桌面鼠标右键点击此电脑,选择管理即可打开计算机管理,找到服务

基于scrapy_redis部署scrapy分布式爬虫

登录与退出

在此之前需要配置环境变量,我的MySQL是安装在:C:\Program Files\MySQL\MySQL Server 8.0\bin下,不然系统不能识别MySQL命令

将C:\Program Files\MySQL\MySQL Server 8.0\bin路径添加到环境变量即可。

MySQL参数:

-u 用户名

-p 密码

-V 输出版本信息并且退出

-h 主机地址

连接本地:mysql -h127.0.0.1,连接其他主机的话,输入其他主机的ip地址

mysql -h127.0.0.1 -uroot -p 回车,然后输入你的密码,或者mysql -uroot -p 回车输入密码

 

 

 

 

相关文章:

  • 2021-05-14
  • 2021-12-31
  • 2021-08-15
  • 2021-05-27
  • 2021-12-18
猜你喜欢
  • 2022-01-10
相关资源
相似解决方案