使用 Selenium web scraper 响应 403 - 如何修复？

Question

我有一个简单的网络爬虫（在 ubuntu 上使用 selenium 在 chrome-headless 模式下进行爬取），它遍历相同的页面以获取一些信息：

#set driver options
chrome_options = Options()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--window-size=1420,1080')
chrome_options.add_argument('--headless')
chrome_options.add_argument("--disable-features=VizDisplayCompositor");
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument("--disable-notifications")
chrome_options.add_argument("--remote-debugging-port=9222")
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
chrome_options.binary_location='/usr/bin/google-chrome-stable'
chrome_driver_binary = "/usr/bin/chromedriver"
driver = webdriver.Chrome(executable_path=chrome_driver_binary, chrome_options=chrome_options)

#Set base url 
base_url = 'www.example.com&page='


events = []
eventContainerBucket = []

for i in range(1,30):

    #cycle through pages in range
    driver.get(base_url + str(i))
    pageURL = base_url + str(i)

    # get events links
    event_list = driver.find_elements_by_css_selector('div[class^=_1abc] a[class^=_1xyz]')
    # collect href attribute of events in even_list
    events.extend(list(event.get_attribute("href") for event in event_list))

print("total events: ", (len(events)))

#GET request user-agent
headers = {'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"}


# iterate through all events and open them.
item = {}
allEvents = []
for event in events:

    try:
        driver.get(event)
        currentUrl = driver.current_url
        print(currentUrl)
    except TimeoutException as ex:
        print(ex.Message)
        webDriver.navigate().refresh()


    try:
        currentRequest = requests.get(currentUrl, headers=headers)
        print (currentRequest)

        #print currentRequest.status_code
    except requests.exceptions.RequestException as e:
        print(e)
        continue

我的问题：

直到昨天，当我开始收到 403 错误时，一切都运行良好。通常，该脚本将遍历大约 20-30 个 url 没问题，但它会给我一个 403 响应。

我的尝试：

尝试将请求标头更改为：

headers={'User-Agent': 'Mozilla/5.0'})

仍然收到 403。我需要为驱动程序添加等待时间吗？谢谢。

Answer 1

403 表示您的请求已被服务器拒绝。虽然无法访问实际网站就无法准确猜测问题出在哪里，但我建议尽可能让请求看起来像人类一样。

您需要确保在无头硒中使用的标头与您在访问网站时（自动）发送的标头相匹配。请按以下步骤操作：

1. 从浏览器手动访问网站
2. 检查网络请求。在 Chrome 中，您按 F12 或 Ctrl+Shift+I 并选择“网络”选项卡，然后浏览/重新加载您要访问的页面
3. 将请求复制到pageURL 作为 curl 命令，然后提取-H 标头
4. 将这些放在您的代码中，如下所示：

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36',
         'custom-header': 'custom value',
         'cookie': '__cf_bm=some_random_value;'
}

也有可能是您的 IP 地址被屏蔽了，在这种情况下，您应该尝试如下代理：

PROXY = "1.111.111.1:8080" #your proxy

chrome_options = WebDriverWait.ChromeOptions()
chrome_options.add_argument('--proxy-server=%s' % PROXY)