使用请求和硒在 python 中抓取网站时出现错误 403答案

【问题标题】：Error 403 while scraping a website in python using requests and selenium使用请求和硒在 python 中抓取网站时出现错误 403
【发布时间】：2021-07-05 12:08:35
【问题描述】：

我正在尝试抓取一个网站“https://coinatmradar.com/”。我正在使用 requests、beautifulsoup 和 selenium（在需要的地方）来抓取数据。但是过了一会儿，我的 ip 被网站屏蔽了，因为它正在使用 cloudflare 保护。

country_url = "https://coinatmradar.com/country/226/bitcoin-atm-united-states/"
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
response=requests.get(country_url, headers=headers)
soup=BeautifulSoup(response.content,'lxml')

这是我正在使用的部分代码。我收到了 403 响应。是否有其他方法可以使其同时处理请求和硒？

【问题讨论】：

标签： python-3.x selenium-webdriver web-scraping python-requests

【解决方案1】：

尝试这样设置标题：

headers = {'Cookie':'_gcar_id=0696b46733edeac962b24561ce67970199ee8668', 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}

【讨论】：

我会试一试的。我也在使用硒。我应该对 chromedriver 进行哪些更改才能在不被阻止的情况下使用它？