【发布时间】:2022-01-06 20:50:27
【问题描述】:
我正在尝试使用 Selenium 抓取网站。我可以打开大部分网站。但是有些网站给我的响应是 406 Not Acceptable。我没有收到实际的网站,而只是在浏览器中收到 406 Not Acceptable 消息。
我目前正在使用以下 Python 代码(使用 Mac):
from selenium import webdriver
DRIVER_PATH = '/Users/User123/Downloads/chromedriver 2'
driver = webdriver.Chrome(executable_path=DRIVER_PATH)
driver.get('https://www.WEBSITE.com/')
出于好奇,我尝试使用 requests 和 beautiful soup 库打开同一个网站,并且它在那里工作(我没有收到那个错误)。尽管如此,由于页面上的动态内容,我的用例需要 selenium。
我搜索了它,但没有找到任何涵盖 selenium 与 406 问题的资源。
有什么想法吗?
【问题讨论】:
标签: python web-scraping selenium-chromedriver