使用scrapy抓取重定向的网址答案

【问题标题】：Crawling redirected urls with scrapy使用scrapy抓取重定向的网址
【发布时间】：2016-11-27 06:53:50
【问题描述】：

我正在尝试使用scrapy爬取www.mywebsite.com。

www.mywebsite.com 托管在免费主机上，网址为 www.mywebsite.freehost.com。我将免费主机重定向到我的付费域。

这里的问题是scrapy忽略了重定向，最终结果是0个页面被刮掉了。

如何告诉 scrapy 我需要它来抓取重定向的 url？我只需要它来爬取重定向的 url，而不是从网站引出的其他 url（如 facebook 页面等）

2016-11-27 14:48:42 [scrapy] INFO: Spider opened
2016-11-27 14:48:42 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2016-11-27 14:48:42 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023
2016-11-27 14:48:44 [scrapy] DEBUG: Crawled (200) <GET http://www.mywebsite.com/> (referer: None)
2016-11-27 14:48:44 [scrapy] DEBUG: Filtered offsite request to 'www.mywebsite.freehost.net': <GET www.mywebsite.freehost.net>
2016-11-27 14:48:44 [scrapy] INFO: Closing spider (finished)
2016-11-27 14:48:44 [scrapy] INFO: Dumping Scrapy stats:

【问题讨论】：

标签： python scrapy

【解决方案1】：

日志显示您的请求正在被过滤：

DEBUG: Filtered offsite request to 'www.mywebsite.freehost.net': <GET www.mywebsite.freehost.net>

将该域 freehost.net 添加到您的 allowed_domains 列表中，或从您的爬虫中删除 allowed_domains 以允许每个域。

【讨论】：