【发布时间】:2019-10-29 06:47:55
【问题描述】:
我在一个刚刚搬到 Azure Dev-Ops 的小团队工作。当推出新版本时,我们似乎无法找到一种无缝且便捷的方式来运行回归测试并拥有已运行的测试计划的完整历史数据。我担心一旦 Azure DevOps 使用了一段时间,可能很难找到旧的测试运行。
到目前为止,我们已经尝试创建一个大型测试套件,其中包含用于不同功能领域的子测试套件文件夹。然后每个子测试套件在 Test-Runner 中单独运行。这样做的问题是,当我们重置测试并再次运行它们时,我们会丢失历史测试数据,并且在测试运行中未完成的任何测试都会丢失,这使得看起来更高百分比的测试用例通过/失败.另一个问题是测试计划是零散的。
我们探索的另一个选项是为每个测试用例添加一个标签(而不是子测试套件)。当尝试运行所有测试时,这会导致问题,因为 Test-Runner 似乎一次运行不超过 100 个测试用例的限制。最重要的是,测试运行的名称在分开运行时彼此无法区分,因为它们都具有相同的名称(来自测试套件)。
一个理想的解决方案是像 TestRail(我们刚刚从它移出)这样的东西,可以选择测试套件中的案例进行运行,然后无限期地存储测试计划。很遗憾,我们无法返回 TestRail。
【问题讨论】:
标签: azure-devops microsoft-test-manager azure-devops-extensions