Behat 在多个浏览器中并行

Question

我们目前使用Behat 3 为我们的网站自动执行 BDD 测试。

当前设置使用Jenkins 运行Selenium，它附加到Firefox 并使用XVFB 进行渲染（这允许我们在出现任何问题时保存屏幕截图）。

这对于测试网站（包括 JavaScript）是否正常运行以及用户能否成功执行每个记录的任务非常有用。

我希望扩展我们的测试设施，我想添加的一件事是检查多个浏览器的能力。这一点非常重要，因为我们偶尔会遇到可能会破坏功能的怪癖。

由于目前运行测试需要一个多小时的时间（我们在 Jenkins 上为该站点提供了 4 个套件），因此我希望同时运行所有浏览器。如果我找不到同时执行此操作的方法，那么我可能会设置多个 Behat 配置文件并依次运行每个配置文件。

我一直在寻找一种可能的解决方案是Ghostlab。这将允许我们同时测试多个浏览器和多个设备，包括移动设备。问题是我找不到以有意义的方式将此加入 Behat 的方法。

我可以运行一个连接到 Ghostlab 的浏览器，这将导致在所有连接的浏览器上执行相同的操作，但是，如果不是由 Selenium 控制的浏览器中断，我不知道我们将如何捕获它信息。

TL;DR：我有什么方法可以跨多个浏览器并行运行 BDD（首选 Behat）测试，并从任何失败的浏览器中捕获信息？

Answer 1

这就是 multi-configuration jobs（或矩阵作业）在 Jenkins 中的设计目的。

您只需指定一次作业配置，但添加一个或多个每次都应更改的变量，构建一个组合矩阵（在您的情况下，该矩阵有一个维度：浏览器）。

Jenkins 然后并行运行一个主构建和多个子构建——矩阵中的每个组合一个。然后，您可以清楚地看到每种组合的结果。

这要求您的测试作业可以参数化，即您可以在运行时选择应该运行哪个浏览器，而不是在一个作业中同时运行所有测试。

Jenkins wiki 关于此功能的文档很少，但有一些很好的 blog posts（和 Stack Overflow 问题）关于如何设置它。

矩阵作业将使用 Jenkins 中所有可用的“执行程序”，以尽可能并行运行构建。
在默认的 Jenkins 安装中，有两个可用的执行程序，但您可以更改此设置，或通过添加 further build machines 扩展 Jenkins。