Scrapy，如何仍然获取状态为 302 的内容（重定向）

Question

这是我的简单蜘蛛代码（刚开始）：

def start_requests(self):
    urls = [
        'http://www.liputan6.com/search?q=bubarkan+hti&type=all',
    ]
    for url in urls:
        yield scrapy.Request(url=url, callback=self.parse)

def parse(self, response):
    page = response.url.split("/")[-2]
    filename = 'quotes-%s.html' % page
    with open(filename, 'wb') as f:
        f.write(response.body)
    self.log('Saved file %s' % filename)

使用浏览器我可以正常访问 url 'http://www.liputan6.com/search?q=bubarkan+hti&type=all'。但是为什么用这个scrapy我得到302响应，并且我无法抓取页面..

请任何人告诉我，如何解决它..

Answer 1

网页似乎需要一些 cookie，如果找不到这些 cookie，它会重定向到索引页面。

我通过添加这些 cookie 使其工作：js_enabled=true; is_cookie_active=true;:

$scrapy shell "http://www.liputan6.com/search?q=bubarkan+hti&type=all"
# redirect happens
>[1]: response.url
<[1]: 'http://www.liputan6.com'
# add cookie to request:
>[2]: request.headers['Cookie'] = 'js_enabled=true; is_cookie_active=true;'
>[3]: fetch(request)
# redirect no longer happens
>[4]: response.url
<[4]: 'http://www.liputan6.com/search?q=bubarkan+hti&type=all'

编辑：为您的代码尝试：

 def start_requests(self):
    urls = [
        'http://www.liputan6.com/search?q=bubarkan+hti&type=all',
    ]
    for url in urls:
        req= scrapy.Request(url=url, callback=self.parse)
        req.headers['Cookie'] = 'js_enabled=true; is_cookie_active=true;'
        yield req

def parse(self, response):   
    # 200 response here