【问题标题】:Fatal Error when launching scrapyd in terminal [closed]在终端中启动scrapyd时出现致命错误[关闭]
【发布时间】:2015-07-13 20:20:41
【问题描述】:

我刚刚在 Ubuntu 14.04 上安装了 scrapyd,安装后,我只是在命令行中输入了“scrapyd”并得到:

无法加载应用程序:没有名为 txweb 的模块

我使用了通用和特定于 Ubuntu 的installations,但似乎都不起作用。只是为了一些背景,我在创建了一个运行多个蜘蛛但无法将抓取的数据流水线到两个不同的表中的项目后决定使用 scrapyd。我查看了其他一些 SO 帖子,例如 this 之一,但它们似乎正在解决可能不再相关的旧版本的 scrapyd。

谁能告诉我如何开始使用scrapyd,因为文档中提供的信息似乎对我不起作用,谢谢。

【问题讨论】:

    标签: python web-scraping scrapy scrapyd


    【解决方案1】:

    虽然文档有 apt-get ... pip 是安装 scrapy 的更好方法(对我来说从来没有失败过)

    sudo pip install scrapyd 为我工作,然后scrapyd 不会给出任何错误。

    当您使用 apt-get 安装时 - twisted 可能无法安装,但 pip 会负责。

    尝试先卸载你的 apt-get scrapyd,然后使用 pip 安装它

    sudo apt-get purge scrapyd
    sudo pip install scrapyd
    

    ------------- 更新 ------------

    在评论中回答您的下一个问题...

    如果您想运行scrapyd-deploy,您还需要安装未与scrapy 一起安装的包scrapy-client。这在文档中提到 - http://scrapyd.readthedocs.org/en/latest/deploy.html

    你可以使用sudo pip install scrapyd-client安装它

    【讨论】:

    • 当我只输入“scrapyd”时,这似乎可以工作,但是当我使用:“scrapyd-deploy”时,我得到:“command not found”。在尝试部署之前我应该​​运行一些命令吗?谢谢你的回答。
    猜你喜欢
    • 2018-07-06
    • 2016-06-02
    • 1970-01-01
    • 2019-11-04
    • 1970-01-01
    • 2021-03-04
    • 2021-10-19
    • 2015-05-28
    相关资源
    最近更新 更多