【问题标题】:Is there Regression Test functionality in Azure DevOps?Azure DevOps 中是否有回归测试功能?
【发布时间】:2019-10-29 06:47:55
【问题描述】:

我在一个刚刚搬到 Azure Dev-Ops 的小团队工作。当推出新版本时,我们似乎无法找到一种无缝且便捷的方式来运行回归测试并拥有已运行的测试计划的完整历史数据。我担心一旦 Azure DevOps 使用了一段时间,可能很难找到旧的测试运行。

到目前为止,我们已经尝试创建一个大型测试套件,其中包含用于不同功能领域的子测试套件文件夹。然后每个子测试套件在 Test-Runner 中单独运行。这样做的问题是,当我们重置测试并再次运行它们时,我们会丢失历史测试数据,并且在测试运行中未完成的任何测试都会丢失,这使得看起来更高百分比的测试用例通过/失败.另一个问题是测试计划是零散的。

我们探索的另一个选项是为每个测试用例添加一个标签(而不是子测试套件)。当尝试运行所有测试时,这会导致问题,因为 Test-Runner 似乎一次运行不超过 100 个测试用例的限制。最重要的是,测试运行的名称在分开运行时彼此无法区分,因为它们都具有相同的名称(来自测试套件)。

一个理想的解决方案是像 TestRail(我们刚刚从它移出)这样的东西,可以选择测试套件中的案例进行运行,然后无限期地存储测试计划。很遗憾,我们无法返回 TestRail。

【问题讨论】:

    标签: azure-devops microsoft-test-manager azure-devops-extensions


    【解决方案1】:

    creating a Test Plan 下的 Azure DevOps 文档中 他们为特定的 sprint 制定了测试计划。

    您可以做的是创建一个包含您想要的测试的回归测试区域路径,然后每次您想要运行回归测试时,您都可以将其添加到 Sprint 中创建的测试计划中。

    这似乎有点令人困惑,但本质上类似于在 TestRail 中创建测试运行并选择运行中所需的测试时的操作方式。为每个冲刺创建测试计划可能有点术语转换,但您可以这样做,然后添加您想要在冲刺期间运行的回归测试,这样您就不会丢失任何历史测试数据。

    【讨论】:

    • 这可以做到,但这是一个好习惯吗?
    猜你喜欢
    • 1970-01-01
    • 2019-11-09
    • 2010-12-27
    • 2020-05-04
    • 2020-01-13
    • 2020-05-28
    • 2019-09-21
    • 2013-04-02
    • 2016-05-14
    相关资源
    最近更新 更多