通过 REST API 将测试结果发布到 TFS 2018 测试用例

Question

目前我们正在使用 mstest.exe 运行我们的自动化测试，然后创建一个 .trx 结果文件。然后，在此之后，我们使用 tcm.exe 将这些结果发布到我们 TFS 服务器上的一些测试套件/测试用例。

我们希望不再使用 tcm，而是使用 TFS REST API 从我们的 .trx 结果文件中发布结果。

我已经阅读了一些关于此的the documentation on the REST API，但没有什么是特定于使用 TFS 扩展客户端类（例如TestManagementHttpClient）的，它仅枚举要使用的实际 URL。它也没有给出很多关于它期望什么参数的例子。

Microsoft.TeamFoundation.TestManagement.WebApi 命名空间的官方.NET reference documentation 有帮助，但同样没有任何示例/示例来了解每个函数期望的参数。

only example/sample I was able to find 不够详细，我无法理解如何在我的情况下应用它，因为我对测试点/测试运行的概念不够熟悉，无法操作代表它们的类。

我猜测试运行有多个测试点（每个测试用例运行一个？）代表执行该测试用例的结果？在这种情况下，我应该假设我需要为每个测试结果创建一个测试点。如果是这样，我怎么知道要给它哪个 ID？上面的示例将“3”硬编码为其值。

如果有人可以解释上述示例，并提供与我的用例相关的更好/更完整的示例（从 .trx 文件开始，并将这些结果发布到与某个测试套件下的链接自动化项匹配的测试用例)，帮助我了解一切如何相互关联，我将不胜感激。

谢谢。

Answer 1

因此，根据我在问题中链接的示例/示例回答我自己的问题：

1. 您需要使用TestManagementHttpClient.GetTestConfigurationsAsync()获取您想要的测试配置

2. 然后你会想要使用TestManagementHttpClient.GetPointsAsync()获取该测试用例/测试配置组合的所有测试点

3. 然后您需要创建一个测试运行。这是通过至少声明一个新的RunCreateModel 对象来完成的，指定您之前获取的测试点ID。您可能还需要填写大量参数（buildId、isAutomated 等）。然后您需要调用TestManagementHttpClient.CreateTestRunAsync() 来实际创建它。

4. 步骤 3 实际上在测试运行下创建了空的测试结果，对于您在创建时指定的每个测试点。您需要使用TestManagementHttpClient.GetTestResultsAsync() 获取它们并修改它们的Outcome 属性，使用TestCaseResult.TestCase.Id 属性来了解哪个结果适用于哪个测试用例。您可能还想填写其他属性，例如 State 等。同样，您需要使用 TestManagementHttpClient.UpdateTestResultsAsync() 将这些修改推送到 TFS

5. 最后一步是通过使用state = "Completed" 创建一个RunUpdateModel 对象，然后调用TestManagementHttpClient.UpdateTestRunAsync()，将您的测试运行设置为已完成

这是我最终编写的用 F# 编写的函数：

// A test point is a pairing of a test case with a test configuration
let createTestRun (httpClient:TestManagementHttpClient) (testRunName:string) (teamProjectName:string) (testPlanId:int) (testSuiteId:int) (testCaseIdsAndResults:seq<(int * string)>) (buildId:int) (cancellationToken:CancellationToken) = async {
    let testPlanIdString = testPlanId.ToString()
    let plan = new ShallowReference(testPlanIdString)

    let! testConfigurations = httpClient.GetTestConfigurationsAsync(teamProjectName, cancellationToken = cancellationToken) |> Async.AwaitTask
    let defaultTestConfiguration = testConfigurations |> Seq.find (fun c -> c.IsDefault) // TODO: We only use the default configuration for now. Do we always want this?

    let rec getTestPoints (testIdsAndResults:(int * string) list) (testPoints:TestPoint[]) = async {
        match testIdsAndResults with
        | (testId, _)::rest ->
            let! fetchedTestPoints = httpClient.GetPointsAsync(teamProjectName, testPlanId, testSuiteId, testCaseId = testId.ToString(), cancellationToken = cancellationToken) |> Async.AwaitTask
            let testPoint = fetchedTestPoints |> Seq.find (fun p -> p.Configuration.Id = defaultTestConfiguration.Id.ToString())
            let newTestPointsList = Array.append testPoints [|testPoint|]
            return! getTestPoints rest newTestPointsList
        | _ ->
            return testPoints
    }
    let! testPoints = getTestPoints (List.ofSeq testCaseIdsAndResults) Array.empty
    let testPointIds = testPoints |> Array.map (fun p -> p.Id)

    let runCreateModel = new RunCreateModel(name = testRunName, plan = plan, buildId = buildId, isAutomated = new Nullable<bool>(true), pointIds = testPointIds)
    let! testRun = httpClient.CreateTestRunAsync(runCreateModel, teamProjectName, cancellationToken = cancellationToken) |> Async.AwaitTask
    let! emptyResults = httpClient.GetTestResultsAsync(project = teamProjectName, runId = testRun.Id, outcomes = new List<TestOutcome>(), cancellationToken = cancellationToken) |> Async.AwaitTask

    let rec createCaseResults (testIdsAndResults:(int * string) list) (results:TestCaseResult[]) = async {
        match testIdsAndResults with
        | (testId, testResult)::rest ->
            let caseResult = emptyResults |> Seq.find (fun r -> r.TestCase.Id = testId.ToString())
            caseResult.State <- "Completed"
            caseResult.Outcome <- testResult // "passed", "failed", "never run", "not applicable"
            let newResultsList = Array.append results [|caseResult|]
            return! createCaseResults rest newResultsList
        | _ ->
            return results
    }
    let! results = createCaseResults (List.ofSeq testCaseIdsAndResults) Array.empty
    let! _ = httpClient.UpdateTestResultsAsync(results, teamProjectName, testRun.Id, cancellationToken = cancellationToken) |> Async.AwaitTask

    let runmodel = new RunUpdateModel(state = "Completed");
    let! _ = httpClient.UpdateTestRunAsync(runmodel, teamProjectName, testRun.Id, cancellationToken = cancellationToken) |> Async.AwaitTask

    ()
}