【问题标题】:Cant get the proper header functioning (403 Error)无法获得正确的标头功能(403 错误)
【发布时间】:2019-04-05 22:27:05
【问题描述】:

我一直在关注 YouTube 上的指南,但一直坚持使用正确的用户代理来通过 HTTP 403 Forbidden

这是我正在尝试的代码:

from bs4 import BeautifulSoup as soup
from urllib.request import urlopen as uReq

user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7'

my_url = "https://www.pedidosya.com.ar/restaurantes/buenos-aires/monserrat/empanadas-delivery"
headers = {'User-Agent':user_agent,} 

uReq(my_url)

【问题讨论】:

    标签: python beautifulsoup http-status-code-403


    【解决方案1】:

    也许这是一个问题,即不能与保存 cookie 等数据的服务器保持会话?我遇到了重定向超时的问题,解决方案是使用requests.session()。我的代码最终看起来像:

    import bs4
    import requests
    
    s = requests.session()
    s.headers['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36'
    res = s.get('https://www.pedidosya.com.ar/restaurantes/buenos-aires/monserrat/empanadas-delivery')
    soup = bs4.BeautifulSoup(res.text, 'html.parser')
    

    当我运行它时,似乎没有错误。

    我刚刚在网上的帖子中找到的用户代理。我不知道它是如何工作的,但它可以让我的脚本正常工作,所以我不必理解 XD

    【讨论】:

    • 非常感谢,它似乎正在工作。现在进入下一个问题哈哈!
    猜你喜欢
    • 1970-01-01
    • 2018-01-13
    • 1970-01-01
    • 1970-01-01
    • 2014-07-10
    • 2020-07-22
    • 1970-01-01
    • 1970-01-01
    • 2020-04-30
    相关资源
    最近更新 更多