通过 MTM 设置编码 UI 测试的远程执行

Question

为了我的案例，我已经从高处和低处搜索了一套明确的说明。我什至遵循了使用 Visual Studio 2012 进行持续交付测试一书中的说明。

查询是：我想从 Microsoft 测试管理器运行我的编码 ui 测试。

• 我在 VS2012 中创建了可以工作的编码 UI 测试
  • 这是一个独立于 Web 应用程序的解决方案
• 我使用 TFS2012 管理 Web 应用解决方案
• 测试控制器已设置在与 Web 应用程序相同的服务器上
  • 测试控制器已配置为使用 tfs 默认项目集合
• 已在我的 PC 上设置了测试/实验室管理器
  • 我添加了一个标准的虚拟环境
• 我已将测试用例与编码的 ui 测试相关联

下一步是我卡住的地方...所有论坛和书籍都指出我需要创建一个部署 - 构建 - 测试过程。由于我的编码 ui 测试解决方案与 Web 应用程序分开，这是否会改变任何东西，如果没有，我该怎么做？

如果我的编码 ui 测试解决方案构建后我的理解是正确的，

• 我需要将它部署到通过 Lab Manager 创建的虚拟环境中的某个目录
  • 这会将编码的 ui 测试 dll 放到某个目录中
• 我可以使用 Lab Manager 运行测试，该测试将在虚拟环境中使用 vs2012 从 dll 运行编码的 ui 测试

如果我错了，请纠正我，并提供我可以用来完成我的案例设置的步骤。

提前谢谢大家！

Answer 1

如果您不希望每次构建和部署 Web 应用程序时都自动执行测试，那么这些步骤会容易得多。

• 为您的自动化测试解决方案创建构建。
  • 在 Visual Studio 中，转到您的团队资源管理器并单击构建
  • 点击新建构建定义
  • 常规选项卡
    
    • 填写构建定义名称
    • 离开队列处理启用
  • 触发选项卡
    • 我选择持续集成，以便每次签入时都会构建它。但请选择最适合您需要的那个。
  • 源设置选项卡
    • 您应该只需要一行状态为 Active
    • 源代码控制文件夹指向您的自动化测试解决方案所在的目录
    • 构建代理文件夹$(SourceDir)
  • 构建默认选项卡
    • 选择您的构建控制器
    • 在 VS 2013 中有一个将构建输出复制到服务器的选项，我发现这是最简单的。如果您没有该选项，或者您有可以使用的网络共享，那么我会使用它。它只需要您运行测试控制器和测试代理的任何用户都可以访问。
  • 处理选项卡
    • 默认的 .xaml 文件应该包含您需要的所有部分。
    • 您应该能够将所有内容保留为默认值，但以下内容除外
      • 构建 -> 项目（为您的自动化测试解决方案选择解决方案）
      • 测试 -> 高级 -> 禁用测试 (True) 您不需要在每次构建时都运行它们。
      • 高级 -> 失败时创建工作项 (False) 您不需要更改此设置，但大多数人不需要每次构建此类解决方案失败时都需要一张票。如果您想要一个，可以将其保留为 True。
  • 保留政策（您可以保留它，或调整您想要保存的任何构建版本）
  • 终于第一次运行您的构建。
• 将构建分配给您的测试计划
  • 打开 MTM 并转到 Testing Center 内的 Plan 选项卡
  • 点击属性
  • 确保自动运行部分已为其选择了测试环境。
  • 在“构建”部分中，将构建过滤器设置为具有您刚刚创建的构建名称的构建
  • 在 Build In Use 旁边：点击 Modify 并选择最新版本。
  • 关闭并保存您的测试计划
• 将 CodedUI 测试链接到 MTM 测试用例。
  • 在 Visual Studio 中打开您的自动化测试解决方案
  • 转到团队资源管理器并点击工作项
  • 单击新查询并创建查询以查找您的测试用例并点击运行（我发现查询 ID 的速度最快）
  • 双击打开您的测试用例
  • 转到测试用例中的关联自动化选项卡
  • 单击 ... 按钮并选择您的测试用例。
    • 如果您的测试用例未显示，可能是因为您的解决方案未打开和已构建，或者您可能打开了多个 TFS 项目并且您正在处理的项目不是按字母顺序排列的第一个。如果您打开了多个 TFS 项目，我发现最好将它们完全删除，这样它们就不会显示在“连接到团队和项目”窗口中。
  • 最后保存您的测试用例。

此时您应该可以在 MTM 中运行它了。

如果您更新了自动化测试解决方案并对其进行了重建，请记住返回到 MTM 中的测试计划并分配最新版本。我还没有弄清楚如何让它自动获取最新版本。

Answer 2

您需要创建一个运行自动化测试的环境。完成后，您应该将构建和环境与 AUT 的测试计划相关联。还要使用正确的 .testsettings 指向您配置的环境。还有 bazinga，你很高兴。

您应该能够找到许多关于此的博客文章。这是我喜欢的一个 - http://www.deliveron.com/blog/post/Running-Automated-Tests-from-Microsoft-Test-Manager.aspx