【问题标题】:scrapyd error while deploying with scrapyd-client使用scrapyd-client部署时出现scrapyd错误
【发布时间】:2021-08-30 01:26:56
【问题描述】:

执行命令时:

scrapyd-deploy default

我遇到了一个错误:

File"/home/user/miniconda3/envs/quickcompany/lib/python3.8/site-packages/scrapyd_client/deploy.py", line 23, in <module>
    from scrapy.utils.http import basic_auth_header
ModuleNotFoundError: No module named 'scrapy.utils.http'

我已尝试卸载并重新安装相关库。 还尝试同时使用 github 和打包版本的 scrapyd-client。

【问题讨论】:

    标签: python web-scraping scrapy web-crawler scrapyd


    【解决方案1】:

    对LuisA310解决方案的小修改,scrapyd-client==1.2.0a1应该是from w3lib.http import basic_auth_header

    【讨论】:

      【解决方案2】:

      18.9 之前的 Twisted 版本使用了 scrapy.utils.http(已弃用)如果你想使用 scrapyd-client 在 scrapyd-deplo.py 文件中将 from scrapy.utils.http import basic_auth_header 更改为 from w3lib.http import basic_auth_header 虽然我建议你不要使用已弃用的软件包。

      【讨论】:

        【解决方案3】:

        对于那些想知道答案的人来说,图书馆出了点问题。我尝试升级scrapyd客户端,它似乎从那里开始工作正常

        【讨论】:

          猜你喜欢
          • 2021-04-21
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2023-03-14
          • 1970-01-01
          相关资源
          最近更新 更多