如何在python中发送带有scrapy或请求的if-none-match标头？

【问题标题】：how to send if-none-match header with scrapy or requests in python?如何在python中发送带有scrapy或请求的if-none-match标头？
【发布时间】：2021-02-03 15:35:27
【问题描述】：

我正在使用 Scrapy 抓取一个网站，但其中一些 API 没有返回没有“if-none-match”标头的 JSON 数据。

我有超过 100 个 API 列表，因此我想生成自动标头以获取有效的 JSON 文件。任何人都知道如何处理它，或者有任何其他方法可以摆脱它。

提前致谢。

【问题讨论】：

标签： python web-scraping scrapy if-none-match

【解决方案1】：

如果您想为所有请求定义标头，可以使用the DEFAULT_REQUEST_HEADERS setting：

# settings.py
DEFAULT_REQUEST_HEADERS={
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    'If-None-Match': '*',
}

或the headers parameter 个人请求：

req = scrapy.Request(url, callback=self.parse, headers={'If-None-Match': '*'})

【讨论】：