浏览器中的重定向与python代码不同

Question

我想用 Python 打开一个网站的链接，流程如下：

1. 我打开主 URL（例如 www.url1.com）

2. 我抓取页面并找到按钮，它有一个重定向链接(www.url2.com)

3. 当我在浏览器中使用此链接时，它会重定向到 (www.url3.com) 然后立即转到另一个（必填链接）(www.url4.com)

4. 当我使用 Python 请求尝试相同的流程时，它只会转到 (www.url3.com)

5. 我尝试使用 allow_redirects 参数没有任何成功

这是我的代码：

import requests

headers = {
    'User-Agent': '',
    'authority': '',
    'scheme': '',
    'accept': '',
    'x-requested-with': '',
    'cookie': '',
    'referer': 
    }


def download(req):      
    resp = requests.get(req, headers=headers, allow_redirects=True)
    print(resp.text)

我还尝试使用此answer 打印历史记录。

但它也一直在重定向我 (url3)

Answer 1

如果没有您使用的实际 URL，很难给出完整的答案。话虽如此，我认为问题在于您没有保存/跟踪 cookie，因此我建议您在发送请求时使用requests.session()，因为它会为您跟踪 cookie。

总而言之，我建议尝试以下代码：

import requests

session = requests.session()

headers = {
    'User-Agent': '',
    'authority': '',
    'scheme': '',
    'accept': '',
    'x-requested-with': '',
    'cookie': '',
    'referer': 
    }


def download(req):
    global session
 
    resp = session.get(req, headers=headers, allow_redirects=True)
    print(resp.text)

（PS：如果您要抓取一个网站，我强烈建议您在标题中使用 User-Agent，而不是将其留空）

希望对你有帮助