找出使用 Python 在不同网站上设置的 cookie

Question

我有一个包含大约 10.000 个指向在线新闻文章的 URL 的列表。我使用 Requests-library (Python 3.5) 编写了一些代码来抓取这些新闻文章的 html 内容。目标是使用可读性模块检索文章内容并对其进行进一步分析。这在大多数情况下都有效。但是，所有网站都是荷兰语，因此受欧盟政策的约束，他们必须征得同意才能使用 cookie。其中一些，例如http://telegraaf.nl，通过加载一个单独的页面来执行此操作，用户必须在该页面中单击一个按钮。在这种情况下，我可以通过在 header 中传递一个 cookie 来获取正常的文章内容：

import requests

user_agent = 'Mozilla/5.0'
url = 'http://www.telegraaf.nl/dft/geld/werk-inkomen/27740808/__Vechten_om_werk_in_noorden__.html'
cookies_telegraaf = {'TMGCOOKIE': '{%22version%22:%22t3%22}'}
html = requests.get(url, headers={"User-Agent": user_agent}, cookies=cookies_telegraaf)
print(html.content)

这会打印出我需要的 html 内容。问题是，每个站点都需要不同的 cookie。所以我的问题是：有没有办法找出在每个网站的标头中传递的特定 cookie，而无需手动检查浏览器？

感谢您的帮助。

Answer 1

这更像是评论而不是真正的答案。 Here 是另一个可能有帮助的答案。
我要做的是首先处理没有 cookie 的网站，然后尝试处理那些不加载单独页面的网站，然后再处理那些有单独页面的网站。
但是，如果您的问题是想知道是否有办法轻松访问 cookie，请求文档提供了一种方法，here:

 url = 'http://example.com/some/cookie/setting/url'
>>> r = requests.get(url)

>>> r.cookies['example_cookie_name']
'example_cookie_value'

要将自己的cookies发送到服务器，可以使用cookies参数：

>>> url = 'http://httpbin.org/cookies'
>>> cookies = dict(cookies_are='working')

>>> r = requests.get(url, cookies=cookies)
>>> r.text
'{"cookies": {"cookies_are": "working"}}'