Chrome中的Selenium长页面加载[重复]答案

【问题标题】：Selenium Long Page Load in Chrome [duplicate]Chrome中的Selenium长页面加载[重复]
【发布时间】：2020-01-27 15:16:23
【问题描述】：

我使用 selenium 和 scrapinghub crawlera 在 python 3.6 中构建了一个爬虫。我正在尝试取这辆车并下载它的照片。 https://www.cars.com/vehicledetail/detail/800885995/overview/ 但页面只是长时间加载。我想弄清楚的是如何在 4 分钟后阻止浏览器连续加载。

我尝试了显式和隐式等待，但都没有奏效。

driver = webdriver.Chrome('/usr/bin/chromedriver', 
                            desired_capabilities=capabilities, 
                            options=chrome_options)
driver.implicitly_wait(180)
driver.get(url)

【问题讨论】：

标签： python selenium web-scraping scrapinghub

【解决方案1】：

您需要使用driver.set_page_load_timeout() 设置加载的最大等待时间。如果页面超过了加载时间，浏览器将抛出TimeoutException。你需要做的就是照顾它

from selenium import webdriver
from selenium.common.exceptions import TimeoutException

driver = webdriver.Chrome('/usr/bin/chromedriver', 
                            desired_capabilities=capabilities, 
                            options=chrome_options)

driver.set_page_load_timeout(time_to_wait)
try:
    driver.get(url)
except TimeoutException:
    # Do what you need here

【讨论】：