Scrapyd：没有活动项目 - 如何使用 scrapyd 调度蜘蛛

Question

我正在尝试在 scrapyd 1.2 的帮助下安排一个 scrapy 2.1.0 蜘蛛

 curl --insecure http://localhost:6800/schedule.json -d project=bid -d spider=test

理论上，这应该在项目投标中启动爬虫测试。相反，它会输出错误消息：

 {"node_name": "spider1", "status": "error", "message": "Scrapy 2.1.0 - no active project\n\nUnknown command: list\n\nUse \"scrapy\" to see available commands\n"}

如果我 cd 进入项目目录，则该项目有几个蜘蛛，我可以通过“cd /var/spiders/ && scrapy crawl test &”启动。

但是在另一个文件夹中蜜蜂也会给我“没有活动项目”的消息：

/var$ scrapy list
Scrapy 2.1.0 - no active project

Unknown command: list

Use "scrapy" to see available commands

这看起来与我从 scrapyd 获得的信息完全相同，所以我怀疑我需要以某种方式配置我的项目所在的工作目录。

Scrapyd 正在运行，我可以通过网络“gui”访问控制台。

通过 scrapyd 开始工作的正确方法是什么？

Answer 1

在您可以使用 scrapyd 启动您的蜘蛛之前，您必须先部署您的蜘蛛。你可以这样做：

• 使用 addversion.json (https://scrapyd.readthedocs.io/en/latest/api.html#addversion-json)
• 使用 scrapyd-deploy (https://github.com/scrapy/scrapyd-client)