【问题标题】:Scrapy: the scrapy server requires a project, why?Scrapy:scrapy服务器需要一个项目,为什么?
【发布时间】:2013-06-24 06:21:49
【问题描述】:

我想用这个命令运行scrapy服务器:

scrapy server

因为没有项目而失败。然后我创建一个空项目来运行服务器,成功部署另一个项目。但是,scrapy 服务器不能与这个项目一起工作,并告诉我它找不到蜘蛛。为什么?这意味着我必须为每个项目运行不同的服务器?

【问题讨论】:

  • 我相信是的,你可以在一个项目中运行多个蜘蛛,但每个scrapy实例只能运行一个项目。
  • Scrapy server“可以管理多个项目”.

标签: python web-crawler scrapy


【解决方案1】:

听起来您在一个项目下创建了一个蜘蛛,并在另一个项目中需要它。为此,您只需复制 spider.py 文件即可。

另一种选择是不使用服务器,这取决于您想要做什么。 That's discussed here

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-09-25
    • 2017-11-15
    • 2017-01-11
    • 2011-12-04
    • 1970-01-01
    相关资源
    最近更新 更多