使用 selenium 和 chrome 驱动程序的 Scrapy 在多个请求中保留会话

Question

我正在使用带有 chrome 驱动程序的 Scrapy 和 Selenium 来抓取网站。我无法使用 Scrapy 抓取网站，只是因为网站中实施了一些保护机制，它给出了 404。当我将 selenium 与 scrapy 一起使用时，我能够访问页面 html。但问题是当我使用 selenium 时，我无法在通过 scrapy 访问的所有链接上保留会话 cookie。我想设置一些会话参数，如国家、语言等。

# -*- coding: utf-8 -*-
import scrapy
from selenium import webdriver
class SettingSpider(scrapy.Spider):
  name = 'setting'
  allowed_domains = ['example.com']
  start_urls = ['http://example.com/']

  def __init__(self):
      self.driver = webdriver.Chrome()

  def start_requests(self):
      url = 'http://www.example.com/'
      self.driver.get(response.url)
      yield scrapy.Request(url, self.parse)

  def parse(self, response):
      csrf = response.xpath('//input[@name="CSRFToken"]/@value').extract_first().strip()
      print('------------->' + csrf)
      url = 'http://www.example.com/settings'

      form_data = {'shippingCountry': 'ARE', 'language': 'en', 'billingCurrency': 'USD', 'indicativeCurrency': '',
                 'CSRFToken:': csrf}
      yield scrapy.FormRequest(url, formdata=form_data, callback=self.after_post)

  def getShippingCountry(self, response):
      country = response.css("a#shipping-country::text").extract_first().strip()
      return country

  def after_post(self, response):
      country = self.getShippingCountry(response)
      print('------------->' + country)

Answer 1

你可以设置cookie

cookie = {‘name’ : ‘foo’, ‘value’ : ‘bar’}
driver.add_cookie(cookie)

如果您需要获取您的 cookie，您可以使用

driver.get_cookies()

更多信息请阅读this