【问题标题】:scrapyd error while deploying with scrapyd-client使用scrapyd-client部署时出现scrapyd错误
【发布时间】:2021-08-30 01:26:56
【问题描述】:
执行命令时:
scrapyd-deploy default
我遇到了一个错误:
File"/home/user/miniconda3/envs/quickcompany/lib/python3.8/site-packages/scrapyd_client/deploy.py", line 23, in <module>
from scrapy.utils.http import basic_auth_header
ModuleNotFoundError: No module named 'scrapy.utils.http'
我已尝试卸载并重新安装相关库。
还尝试同时使用 github 和打包版本的 scrapyd-client。
【问题讨论】:
标签:
python
web-scraping
scrapy
web-crawler
scrapyd
【解决方案1】:
对LuisA310解决方案的小修改,scrapyd-client==1.2.0a1应该是from w3lib.http import basic_auth_header
【解决方案2】:
18.9 之前的 Twisted 版本使用了 scrapy.utils.http(已弃用)如果你想使用 scrapyd-client 在 scrapyd-deplo.py 文件中将 from scrapy.utils.http import basic_auth_header 更改为 from w3lib.http import basic_auth_header 虽然我建议你不要使用已弃用的软件包。
【解决方案3】:
对于那些想知道答案的人来说,图书馆出了点问题。我尝试升级scrapyd客户端,它似乎从那里开始工作正常