Selenium 请求在 Chrome 79 中运行缓慢答案

【问题标题】：Selenium Request Running slow in Chrome 79Selenium 请求在 Chrome 79 中运行缓慢
【发布时间】：2020-01-24 00:27:08
【问题描述】：

我在 ubuntu 18.04 上使用 selenium，python3.6 scrapinghub crawlera 构建了一个爬虫，到目前为止运行良好。我正在抓取汽车网站，几个月前就开始了，刮板下载图像的速度约为每小时 60 到 100 辆汽车。在转到下一个请求之前，它确实会在页面上停留几分钟。但是，最近我注意到这已经变慢了，并且是由于页面加载时间超过 600 秒而导致 selenium web 驱动程序超时造成的。我确实有一个超时异常，它处理超时并退出 url，但每次加载图像需要超过 10 分钟

raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message: timeout
(Session info: chrome=79.0.3945.130)

经过一些调试后，我注意到连接显示 HTTPS 请求不安全，这是导致连接缓慢的原因。但是，该站点是安全的，并且之前没有显示，所以我不确定发生了什么变化。我确实将 chrome 升级到了 79 版，并认为这是问题的原因。

任何帮助将不胜感激。

【问题讨论】：

可能有隐藏这些警告的选项，不是吗？

标签： python selenium google-chrome web-scraping selenium-chromedriver

【解决方案1】：

有关您的用例的更多详细信息将有助于我们以更好的方式调试您的问题。但是，您需要注意以下几点：

您正在使用 chromedriver=2.41
chromedriver=2.41 的发行说明明确提及以下内容：

支持 Chrome v67-69

大概您正在使用 chrome=79.0
ChromeDriver v79.0 的发行说明明确提及以下内容：

支持Chrome 79版

您的 Selenium 客户端 版本对我们未知。

所以 ChromeDriver v2.41 和 Chrome 浏览器 v79.0

之间存在明显的不匹配

解决方案

确保：

Selenium 升级到当前级别 Version 3.141.59。
ChromeDriver 已更新到当前的ChromeDriver v79.0.3945.36 级别。
Chrome 已更新至当前 Chrome 版本 79.0 级别。（根据ChromeDriver v79.0 release notes）
清理你的项目工作区通过你的IDE和重建你的项目只需要依赖。

tl;博士

但是，您可以结合其他一些措施来加快执行速度，您可以在以下位置找到一些相关的详细讨论：

【讨论】：

您好 DenbanjanB，我已经更新了 chrome 驱动程序，它现在使用的是正确的版本。我注意到的是，当我调用 get(url) 时，网站说您的连接不是私有的，所以我使用 chrome_options.add_argument('--ignore-certificate-errors') 来绕过它，我相信这是问题的原因。