在本地开发过程中,如果想要对 scrapy 的某个 spider 进行调试,可以手动添加调试器:

pycharm 添加 scrapy 自定义调试 debug
如果这个界面为空,可以右键直接执行当前 spider ,然后会出现类似的配置;再点击 Edit Configurations 即可
pycharm 添加 scrapy 自定义调试 debug

配置界面:
pycharm 添加 scrapy 自定义调试 debug

主要分三步走,首先找到 scrapy 安装的路径
第一步,添加 scrapy 脚本路径
找到 scrapy 脚本所在路径
在 linux 系统中使用如下命令:(前提:pip 已经安装 scrapy,且命令能正常使用)
which scrapy

where scrapy
windows 中使用如下命令:
where scrapy

结果如下:
(base) > $ where scrapy
/anaconda3/bin/scrapy
添加在 1 script path 中
第二步,添加 命令 参数
注意:不同的 spider 或不同的命令行都要在这里修改才能生效
比如,导出数据到 json 文件中
crawl douban -o douban.json
第三步,添加工作路径
命令执行的路径,一般来说在 scrapy 跟路径执行即可,可以理解为在跟路径下执行此命令。
这里添加了 spider 所在路径

相关文章:

  • 2021-09-16
  • 2021-10-06
  • 2022-12-23
  • 2021-12-27
  • 2021-10-01
  • 2021-07-09
  • 2021-11-11
猜你喜欢
  • 2021-06-21
  • 2022-12-23
  • 2022-01-15
  • 2022-12-23
  • 2022-02-27
相关资源
相似解决方案