如何通过失败的测试套件运行（junit.xml 解析）？答案

【问题标题】：How to pass a failed testsuite run (junit.xml parsing)?如何通过失败的测试套件运行（junit.xml 解析）？
【发布时间】：2018-12-21 11:35:06
【问题描述】：

我们正在使用自动化的持续集成/部署管道。我们有数百个测试用例和 4 个阶段（红色、橙色、黄色、绿色）。

我面临的问题是测试可能会失败（错误、计时、卡住的进程等），它会导致整个回归运行失败。

我认为我们需要某种权重来确定通过/失败测试被视为“失败”构建的数量。

有什么想法吗？您在管道上创建的东西？

谢谢， -M

【问题讨论】：

【解决方案1】：

构建失败并不总是反映产品的质量，主要是如果失败与测试基础架构问题有关。

通过构建强大而稳定的框架，降低与应用程序错误（计时、卡住进程）无关的意外故障风险，该框架易于维护和扩展。

当谈到与应用程序错误相关的失败时，失败的测试类型比失败的数量更重要。这是缺陷严重性。您可以有 3 个影响不大的微不足道的失败，也可以只有 1 个关键的失败。您需要相应地标记您的测试。

除此之外，还有一个 Jenkins plugin，它创建了一个易于跟踪的测试运行历史记录，您可以在其中查看上次运行中失败次数最多的测试数量。

【讨论】：

感谢您花时间回答。但是，测试基础设施或测试与所描述的问题无关。提供有限制的产品是我们每天都在做的事情——这很好。我唯一担心的是由于它而导致构建失败。我可以添加我们正在讨论的集成功能套件。