Scrapy 警告已禁用 HttpCacheMiddleware答案

【问题标题】：Scrapy Warning Disabled HttpCacheMiddlewareScrapy 警告已禁用 HttpCacheMiddleware
【发布时间】：2013-03-22 17:02:27
【问题描述】：

我在运行 scrapy 时收到此警告：

 [scrapy] WARNING: Disabled HttpCacheMiddleware: Unable to find scrapy.cfg file to infer project data dir

【问题讨论】：

标签： python cron scrapy

【解决方案1】：

您的scrapy.cfg 文件在哪里？你是从命令行运行的吗？如果是这样，您应该从与scrapy.cfg 相同的目录运行。

您的项目目录是什么样的。它应该看起来像：

.
├── dirbot
│   ├── __init__.py
│   ├── items.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       ├── dmoz.py
│       └── __init__.py
├── README.rst
└── scrapy.cfg

更新

如果您使用的是cron，请尽量不要（意思是不要）使用root 用户。您可以将 PATH 信息直接添加到 crontab 中：How to get CRON to call in the correct PATHs

PATH=/usr/local/sbin:...:/absolute/path/to/my/scrapy/project

【讨论】：

项目目录与您描述的相同，蜘蛛是从与scrapy.cfg相同目录中的scheduler.php文件调用的
你怎么称呼scrapy？弹出（）？谁在调用 scheduler.php？阿帕奇？听起来用户的 Python 路径中没有此目录。
一个 cron 作业调用 scheduler.php，它运行应该现在运行的蜘蛛。
什么是cron用户？他的 Python 路径中没有您的目录。
cron用户是root，如何将目录添加到他的python路径中？