scrapy：在scrapy整理处理url之后发布一些表单

Question

我正在使用 scrapy 从会员的唯一网站上抓取数据。我成功执行登录并抓取数据。

但是，当数据抓取完成后，我现在需要在网站上提交一些表格。即：在读取所有数据之后，我想将一些数据写入我正在从中抓取（读取）数据的站点。

我的问题是：

我如何得知 scrapy 完成处理所有 url 抓取，以便我可以执行一些表单提交？

我注意到了一个解决方案 - 请参阅此处 (scrapy: Call a function when a spider quits)，但由于某些原因，我无法继续在 self.spider_closed 方法中产生更多请求，因为它在这些示例中被调用，因此我可以执行一些写入操作。

Answer 1

是的，在spider_closed 信号被触发后，您无法继续使用蜘蛛 - 为时已晚，此时蜘蛛已经关闭。

更好的信号是spider_idle:

当蜘蛛空闲时发送，这意味着蜘蛛没有 进一步：

• 等待下载的请求
• 已安排的请求
• 项目正在 在项目管道中处理