【问题标题】:How to handle 406 response in Selenium?如何处理 Selenium 中的 406 响应?
【发布时间】:2022-01-06 20:50:27
【问题描述】:

我正在尝试使用 Selenium 抓取网站。我可以打开大部分网站。但是有些网站给我的响应是 406 Not Acceptable。我没有收到实际的网站,而只是在浏览器中收到 406 Not Acceptable 消息。

我目前正在使用以下 Python 代码(使用 Mac):

from selenium import webdriver
DRIVER_PATH = '/Users/User123/Downloads/chromedriver 2'
driver = webdriver.Chrome(executable_path=DRIVER_PATH)
driver.get('https://www.WEBSITE.com/')

出于好奇,我尝试使用 requestsbeautiful soup 库打开同一个网站,并且它在那里工作(我没有收到那个错误)。尽管如此,由于页面上的动态内容,我的用例需要 selenium。

我搜索了它,但没有找到任何涵盖 selenium 与 406 问题的资源。

有什么想法吗?

【问题讨论】:

    标签: python web-scraping selenium-chromedriver


    【解决方案1】:

    他们可能会阻止 Selenium?可能不是这样,但请尝试使用此驱动程序:https://github.com/ultrafunkamsterdam/undetected-chromedriver

    【讨论】:

    • 太棒了!有用。谢谢!
    猜你喜欢
    • 2014-07-31
    • 1970-01-01
    • 1970-01-01
    • 2020-06-04
    • 2017-08-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多