Selenium & Heroku: urllib3.exceptions.ProtocolError: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))

Question

设置：

• 硒：3.141.0
• python：3.6.7
• heroku-stack：heroku-18
• headless-chrome：已安装 v71.0.3578.80 buildpack
• chromedriver：已安装 v2.44.609551 buildpack

在 heroku 中使用 selenium 时出现此错误：

urllib3.exceptions.ProtocolError: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))

我用谷歌搜索但没有运气。错误发生在这段代码的最后一行。

---

代码

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

UA = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36' \
     '(KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'
DRIVER_PATH = '/app/.chromedriver/bin/chromedriver'

chrome_options = webdriver.ChromeOptions()
chrome_options.binary_location = '/app/.apt/usr/bin/google-chrome'
chrome_options.add_argument(f'--user-agent={UA}')
chrome_options.add_argument(f'--proxy-server=http://my_private_proxy.com:my_port')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--no-sandbox')

chrome = webdriver.Chrome(executable_path=DRIVER_PATH, options=options)

Answer 1

此错误消息...

urllib3.exceptions.ProtocolError: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))

...暗示 Headless 模式下的 ChromeDriver 无法启动/生成新的 WebBrowser 即 Chrome 浏览器 会话。

有关您正在使用的二进制文件版本的一些信息将有助于我们以更好的方式分析错误。但是，urllib3的这个问题可以被观察到，原因如下：

• 由于您使用的是非 Windows 操作系统，因此不需要参数 --disable-gpu，因为在讨论 Headless: make --disable-gpu flag unnecessaryskyos...@chromium.org 中提到：

在 Linux 或 macOS 上不再需要此标志。 SwiftShader fails an assert on Windows in headless mode 得到修复后，Windows 上将不再需要它。

• 您可以在Lost UI shared context : while initializing Chrome browser through ChromeDriver in Headless mode找到详细讨论

• 此外，您可以添加参数 --disable-dev-shm-usage 来克服资源有限的问题：

  chrome_options.addArguments("--disable-dev-shm-usage"); // overcome limited resource problems
  

• 您可以在org.openqa.selenium.WebDriverException: unknown error: DevToolsActivePort file doesn't exist while trying to initiate Chrome Browser讨论中找到--disable-dev-shm-usage的详细讨论

• 根据urllib3.exceptions.ProtocolError: ('Connection aborted.', error(10054, 'An existing connection was forcibly closed by the remote host'))，当您使用的二进制文件版本之间存在一些不兼容时，就会发现此问题。

解决方案

• 将 ChromeDriver 升级到当前的ChromeDriver v2.44 级别。
• 将 Chrome 版本保持在 Chrome v69-71 级别之间。 (as per ChromeDriver v2.44 release notes)
• 清理你的项目工作区通过你的IDE和重建你的项目只需要依赖。
• 如果您的基本 Web 客户端 版本太旧，请卸载它并安装最新的 GA 和发布版本的 Web 客户端。
• 进行系统重启。
• 执行您的@Test。