Selenium get() 重定向到另一个 url

Question

我正在尝试导航到以下页面并提取 html https://www.automobile.it/annunci?b=data&d=DESC，但每次我调用 get() 方法时，看起来网站都会将我重定向到另一个页面，始终是相同的页面，即 @987654322 @。

这是我正在运行的简单代码：

from selenium import webdriver
driver = webdriver.Chrome(executable_path=ex_path)
driver.get("https://www.automobile.it/annunci?b=data&d=DESC")
html=driver.page_source

如果我使用请求模块做同样的事情，我不会被重定向

import requests
html=requests.get("https://www.automobile.it/annunci?b=data&d=DESC")

我不明白它为什么会这样，有什么想法吗？

Answer 1

使用driver.delete_all_cookies()

from selenium import webdriver
driver = webdriver.Chrome(executable_path=ex_path)
driver.delete_all_cookies()
driver.get("https://www.automobile.it/annunci?b=data&d=DESC")
html=driver.page_source

PS：另外请注意：Page_source 不会为您提供渲染完成的 DOM。

Answer 2

您可以使用以下代码清除浏览器缓存：

我假设您使用的是 chrome。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome(executable_path=ex_path)
driver.get('chrome://settings/clearBrowserData')
driver.find_element_by_xpath('//settings-ui').send_keys(Keys.ENTER)
driver.get("https://www.automobile.it/annunci?b=data&d=DESC")