将scrapy项目部署到scrapyd时HTTPCACHE不起作用

【问题标题】：HTTPCACHE not working when deploying scrapy project to scrapyd将scrapy项目部署到scrapyd时HTTPCACHE不起作用
【发布时间】：2011-06-28 17:53:02
【问题描述】：

当我尝试将 HTTPCACHE 与 scrapyd 一起使用时，我收到以下错误：

[scrapy] WARNING: Disabled Httpcache Middlware: unable to find scrapy.cfg file to infer project data dir

【问题讨论】：

【解决方案1】：

问题是http缓存默认使用相对路径httpcache。

这在您从命令行正常运行蜘蛛时有效，但在作为服务运行时无效。

解决方法是将HTTPCACHE_DIR^[docs]设置为绝对路径。

【讨论】：

ie：服务器上的绝对路径...所以是的，即使蜘蛛是部署到服务器的客户端，客户端也会告诉 scrapyd 服务在服务器文件系统上的哪个位置放置缓存.目录必须可由 scrapyd 进程写入。
仍然是一个相关的答案，但文档的链接现在是 this one。