【问题标题】:403 Forbidden or access denied for some website why?403 Forbidden or access denied for some website 为什么?
【发布时间】:2018-04-15 17:29:41
【问题描述】:

当使用 bs4 从网站抓取时,它显示响应对象为拒绝访问和禁止访问如何解决?

【问题讨论】:

标签: python-2.7 beautifulsoup


【解决方案1】:

确保在触发 get 请求之前添加了所需的标头,例如“User-Agent”。在大多数情况下,如果未提供“User-Agent”,您最终会得到 403 响应。

【讨论】:

  • 好答案,说得更清楚:您应该使用浏览器的 User-Agent,您可以通过在您喜欢的浏览器中浏览到 whichbrowser.net 来查看
  • 正确,例如 mozillas UA 将是,headers = {'User-Agent':'Mozilla/5.0'}
  • 我正在使用谷歌浏览器使用 beautifulsoup 从网站上抓取数据
猜你喜欢
  • 2014-06-10
  • 2020-07-10
  • 2019-02-20
  • 1970-01-01
  • 2016-09-20
  • 1970-01-01
  • 2015-12-07
  • 2022-01-14
  • 1970-01-01
相关资源
最近更新 更多