如果超过 50% 的 Selenium 测试通过，则 Pytest 总体通过答案

【问题标题】：Pytest pass overall if >50% of Selenium tests pass如果超过 50% 的 Selenium 测试通过，则 Pytest 总体通过
【发布时间】：2020-07-01 12:56:58
【问题描述】：

我目前正在使用 Pytest 进行 Selenium 测试。将有大约 10 个测试，但是，一个用户可能只有 70-80% 的数据可用于测试（这很好）。

有没有办法说，如果 7/10 测试通过，则通过整体 pytest，但仍然显示失败的测试

这将与 CI/CD 管道交互，而且似乎即使 1 个测试失败，Jenkins 也会看到红色。

【问题讨论】：

我真的不明白你的意思。失败的测试就是失败的测试。如果您没有足够的数据进行某些测试，则根本不要运行它们。
您可以将 Jenkins 配置为将一定数量的失败测试视为不稳定而不是失败的构建 - 因此，如果您想要的话，您的构建将变成黄色而不是红色。
@MrBeanBremen 不幸的是，新版本的 Jenkins 中不提供后期构建部分 issues.jenkins-ci.org/browse/JENKINS-49571
我同意@pavelsaman - 如果您没有满足运行测试的先决条件，请跳过它。如果您只想在测试失败时继续运行 Jenkins 管道，pytest || true 是一种常见的解决方法。

【解决方案1】：

如建议的那样，如果没有足够的数据进行测试。然后不要运行它们。

我能够找到一个仅包含具有相关数据的用户的数据库表。现在所有测试都通过了 100%。

感谢大家的帮助。

【讨论】：