【发布时间】：2020-07-26 16:38:40
【问题描述】：
我还没有将我的蜘蛛设置为 Scrapy 项目，所以没有用于设置的 settings.py 文件。但我仍然想实现尽可能多的方法以避免被阻止/列入黑名单。有什么方法可以在 Scrapy 项目之外添加这些旋转和设置，并且只能在 CrawlerRunner 函数中添加？？？
谢谢！
【问题讨论】：
标签： scrapy python-requests web-crawler
【发布时间】：2020-07-26 16:38:40
【问题描述】：
如果其他人想知道，使用 CrawlerRunner 函数时没有办法做到这一点。我只需要建立一个 Scrapy 项目，它最终并没有我想象的那么难。有大量信息和“hello world”教程可供在线学习。
祝你好运！
【讨论】：