无法在 python 请求模块中获取 cookie

Question

我想从这个 URL https://weibo.com/hebgqt?refer_flag=1001030103_&is_all=1 抓取数据 如果我手动在标头中传递 cookie，我可以抓取数据。但是，我想自动完成。这是代码。

import requests

url = 'https://weibo.com/hebgqt?refer_flag=1001030103_&is_all=1'

headers = {
    'authority': 'weibo.com',
    'cache-control': 'max-age=0',
    'sec-ch-ua': '^\\^',
    'sec-ch-ua-mobile': '?0',
    'upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36',
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'sec-fetch-site': 'same-origin',
    'sec-fetch-mode': 'navigate',
    'sec-fetch-user': '?1',
    'sec-fetch-dest': 'document',
    'accept-language': 'en-IN,en-GB;q=0.9,en-US;q=0.8,en;q=0.7',
    'cookie': 'SINAGLOBAL=764815322341.5566.1622097283265; SUB=_2AkMXj8zTf8NxqwJRmP0RzmrjaY1yyg3EieKh0z0IJRMxHRl-yT92qmgntRB6PA_iPI199P4zlRz9zonVc5W23plzUH7V; SUBP=0033WrSXqPxfM72-Ws9jqgMF55529P9D9W55o9Nf.NuDNjNQuIS8pJY_; _s_tentry=-; Apache=3847225399074.1636.1624690011593; ULV=1624690011604:5:4:4:3847225399074.1636.1624690011593:1624608998989',
}

response = requests.get(url, headers=headers).text
print(response)

我尝试通过以下代码获取 cookie，但得到的是一个空字典。

import requests
url = 'https://weibo.com/hebgqt?refer_flag=1001030103_&is_all=1'
r = requests.get(url)
print(r.cookies.get_dict())

注意：网站是中文的。所以，我正在使用 Nord VPN，如果我不使用它，我会收到 SysCallError 错误。 请帮助我找到 cookie 或任何其他方式从上述 URL 获取数据。

Answer 1

我认为为了读取 cookie，您应该使用如下所示的请求会话： https://stackoverflow.com/a/25092059/7426792