GitHub 或 GitLab CI 中每个提交的性能信息

Question

我正在使用 GitLab 托管一个以性能为主要关注点的项目。我目前有测试断言某些任务在给定时间内完成。

我想扩展我的 CI 配置，以衡量特定提交或拉取请求如何影响性能，并以方便的格式（图表、提交的性能变化等）提供信息。

基本上我想要与 coveralls.io 相当的东西，除了性能而不是覆盖率。

我对在 GitHub 或 GitLab 上运行的所有解决方案感兴趣。

请注意，这个问题不是关于如何在 CI 中进行性能测试，而是关于以一种方便的方式呈现获得的数据。

Answer 1

GitHub 或 GitLab 只是源代码控制托管服务，我的期望是您需要一个可以编排构建的软件：

1. 通过commit hook获取源码
2. 构建源代码
3. 运行测试
4. 发布工件

这通常由CI server 完成，如果你没有 - 你需要choose it，如果你没有更好的候选人 - 我建议你去Jenkins 这是某种形式的行业标准。

Jenkins 拥有Performance Plugin，它可以为以下格式构建性能趋势图表：

• JMeter XML 和 CSV 格式，还有 Summarizer 日志输出
• Taurus Tool Final Stats XML（通过它，您可以发布来自 JMeter、Gatling、Grinder、Siege、ab、Selenium 和许多其他公司的摘要）
• JUnit 格式（以 SoapUI 为例）
• Twitter's Iago
• wrk

因此，如果您的测试以上述格式之一产生结果，您将能够获得如下图表：

此外，您还可以根据不同的标准（错误百分比、响应时间超过阈值、当前构建结果比以前差等）有条件地将构建标记为失败。