Scrapy爬虫返回302重定向问题解决方法

scrapy爬虫遇到爬取页面时302重定向导致response页面与实际需要爬取的页面信息不一致，导致无法正常获取信息，查看日志存在 scrapy.downloadermiddlewares.redirect 。
解决方法：
有些网站需要检查cookies头部信息，这样无需登录就能进行访问，所以可以在settings中添加头部信息cookies，同时将cookies_enabled参数置为false，即可正常进行爬取操作

# Disable cookies (enabled by default)
COOKIES_ENABLED = False

 

 

DEFAULT_REQUEST_HEADERS = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'cookie':'xxxxxxxxx'
}