Chrome Webdriver 在 Selenium 中产生超时

Question

我正在尝试使用 Selenium 和 Chrome 的 webdriver 抓取一个网站，这一切都很好，直到我切换到更新的 Macbook。突然之间，webdriver 似乎无法识别网站何时真正完全加载。

错误信息如下

TimeoutException：消息：超时：无法从超时确定加载状态：从渲染器接收消息超时：-0.003
（会话信息：chrome=54.0.2840.87）（驱动程序信息： 铬驱动程序=2.25.426935 (820a95b0b81d33e42712f9198c215f703412e1a1),平台=Mac OS X 10.12.1 x86_64)

我的代码如下所示：

      import os
      import time
      from selenium import webdriver
      driver = webdriver.Chrome(os.path.join(os.getcwd(), 'chromedriver'))
      driver.get('http://www.clever-tanken.de/')

Answer 1

这是 chrome webdriver 中的一个已知错误。 Ex1, Ex2

经过非常简短的阅读，他们的开发人员似乎在重现该错误时遇到了一些麻烦。 @dimkin 提到 CDN 可能是导致该错误的原因。看起来其他人已经报告了这个错误，并且同样怀疑 cdn 内容没有正确解析 DNS。

我能够隔离问题。就我而言，它只发生在 引用静态文件的页面（HTML 标记中的图像 实例http://cdn.local.myproject.net/static/myimage.png) 在我的 自定义本地 CDN 域。如果我使用相对路径，则不存在 “/static/myimage.png”或本地主机 “http://127.0.0.1/static/myimage.png”所以我认为这是一个 DNS 问题。

我能够通过使用--dns-prefetch-disable 绕过这个问题 chrome的选项。

例子：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument("--dns-prefetch-disable")
driver = webdriver.Chrome(chrome_options=chrome_options)

提到的另一种解决方法看起来很有希望。它不能解决任何问题，但可能会解决问题。它捕获异常并简单地尝试刷新：

您需要：from selenium.common.exceptions import TimeoutException

try:
   webDriver.get(url);
except TimeoutException as ex:
   print(ex.Message)
   webDriver.navigate().refresh()

Answer 2

虽然听起来很奇怪，但它与语言偏好有关。在我发现我的旧 mac（代码运行良好）和我的新 mac（代码一直在崩溃）之间最后剩下的区别是语言首选项后，我将其更改为英语。现在，代码运行良好！

Answer 3

这表明存在一些网络问题。 面对同样的情况，当从一台主机无法访问我们的 CDN 并且某些文件无法加载时 Chrome/chromedriver/selenium 版本的操作没有帮助。仅通过网络修复解决此问题