【问题标题】:How to clear cookies in scrapy?如何清除scrapy中的cookies?
【发布时间】:2017-08-28 06:49:15
【问题描述】:

默认情况下,scrapy 在请求中存储和传递 cookie。但是如何在蜘蛛的某个点访问或清除存储的 cookie?谢谢?

【问题讨论】:

    标签: python cookies scrapy


    【解决方案1】:

    要将 cookie 设置为特定请求,请使用 request cookies field,例如来自文档:

    request_with_cookies = Request(url="http://www.example.com",
                                   cookies={'currency': 'USD', 'country': 'UY'})
    

    访问请求 cookie:

    request.headers.getlist('Cookie')
    

    响应 cookie:

    response.headers.getlist('Set-Cookie')
    

    更多详情见cookies middleware

    【讨论】:

      【解决方案2】:

      在您的下一个请求中避免使用 cookie 的一种方法是使用 meta 参数 dont_merge_cookies

       Request(url, meta={'dont_merge_cookies': True})
      

      【讨论】:

        【解决方案3】:

        没有完全清除它们,但setting COOKIES_ENABLED to false in scrapy settings 会阻止它们被使用。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 2014-11-20
          • 2017-02-14
          • 2017-10-26
          • 2015-06-22
          • 2018-11-15
          • 1970-01-01
          • 1970-01-01
          • 2017-07-26
          相关资源
          最近更新 更多