Scrapy 连接被拒绝

Question

您好，我使用 Scrapy 和 Scrapyd 已经有一段时间了，最​​近我遇到了一个非常奇怪的问题。我所有的蜘蛛都会工作一段未知的时间（几天），然后它就停止工作了。当我检查日志时，它显示 Connection denied 111 on all spiders，我只需要重新启动我的 Ubuntu 实例，然后所有 spider 将再次工作（在 x 天后再次失败之前）。

有帮助吗？

Answer 1

你在使用scrapy-splash吗？我注意到一段时间后启动画面会崩溃（由于一些内存问题）。

如果你在docker中使用splash，你可以运行

docker ps -a

查看启动失败的时间和原因（错误 137 显然是内存问题）。