谷歌搜索网络抓取类=与浏览器不同

Question

我正在尝试在 Google 结果中抓取视频面板 例如，我正在搜索 ---> "great+castles"

text="great+castles"
url = f'https://google.com/search?q={text}'
response = requests.get(url)


print(url)

soup = BeautifulSoup(response.text,'html.parser')

a=soup.findAll('div',{'id':'main'})
a

我确实得到了输出响应，但属性与谷歌浏览器上的不同

Answer 1

首先，您始终可以在 HTML 文件中编写 HTML 响应，并通过在浏览器中打开来检查实际得到的结果。

其次，你不能轻易地从谷歌抓取数据，你需要代理，但即使使用精英代理，你也可能面临许多挑战，如 reCaptcha 等。