【发布时间】：2016-05-29 14:51:05
【问题描述】：
我使用 reddit 作为学习 scrappy 的基础。它有一段时间工作正常，但现在它总是返回 301 重定向，即使只是用“scrapy shell www.reddit.com”调用 shell 也是如此。任何想法如何解决这个问题？
【问题讨论】：
-
如果没有前面的 http 或 https，肯定会出错
标签： python scrapy scrape reddit
【发布时间】：2016-05-29 14:51:05
【问题描述】：
在 url 中使用 https/http 方案
scrapy shell https://www.reddit.com
【讨论】：
我认为这与 reddit 本身有关，因为它似乎阻止了您的 IP 或用户代理，您需要尝试调整以下内容： 1-在scrapy设置中提高DOWNLOAD_DELAY 2-尝试更改您的用户代理 3-使用scrapy代理
有关设置的更多信息：http://doc.scrapy.org/en/latest/topics/settings.html
对于scrapy代理： http://doc.scrapy.org/en/latest/topics/downloader-middleware.html
【讨论】：