如何在 xUnit 中设置测试用例序列

Question

我已经用 C# 编写了 xUnit 测试用例。该测试类包含很多方法。我需要按顺序运行整个测试用例。如何在 xUnit 中设置测试用例序列？

Answer 1

在 xUnit 2.* 中，这可以使用TestCaseOrderer 属性来指定排序策略来实现，该属性可用于引用在每个测试上注释的属性以表示订单。

例如：

订购策略

[assembly: CollectionBehavior(DisableTestParallelization = true)] 

public class PriorityOrderer : ITestCaseOrderer
{
    public IEnumerable<TTestCase> OrderTestCases<TTestCase>(IEnumerable<TTestCase> testCases) where TTestCase : ITestCase
    {
        var sortedMethods = new SortedDictionary<int, List<TTestCase>>();

        foreach (TTestCase testCase in testCases)
        {
            int priority = 0;

            foreach (IAttributeInfo attr in testCase.TestMethod.Method.GetCustomAttributes((typeof(TestPriorityAttribute).AssemblyQualifiedName)))
                priority = attr.GetNamedArgument<int>("Priority");

            GetOrCreate(sortedMethods, priority).Add(testCase);
        }

        foreach (var list in sortedMethods.Keys.Select(priority => sortedMethods[priority]))
        {
            list.Sort((x, y) => StringComparer.OrdinalIgnoreCase.Compare(x.TestMethod.Method.Name, y.TestMethod.Method.Name));
            foreach (TTestCase testCase in list)
                yield return testCase;
        }
    }

    static TValue GetOrCreate<TKey, TValue>(IDictionary<TKey, TValue> dictionary, TKey key) where TValue : new()
    {
        TValue result;

        if (dictionary.TryGetValue(key, out result)) return result;

        result = new TValue();
        dictionary[key] = result;

        return result;
    }
}

属性

[AttributeUsage(AttributeTargets.Method, AllowMultiple = false)]
public class TestPriorityAttribute : Attribute
{
    public TestPriorityAttribute(int priority)
    {
        Priority = priority;
    }

    public int Priority { get; private set; }
}

测试用例

[TestCaseOrderer("FullNameOfOrderStrategyHere", "OrderStrategyAssemblyName")]
public class PriorityOrderExamples
{
    [Fact, TestPriority(5)]
    public void Test3()
    {
        // called third
    }

    [Fact, TestPriority(0)]
    public void Test2()
    {
      // called second
    }

    [Fact, TestPriority(-5)]
    public void Test1()
    {
       // called first
    }

}

xUnit 2.* 订购样品here

Answer 2

Testpriority：this 页面底部。

[PrioritizedFixture]
public class MyTests
{
    [Fact, TestPriority(1)]
    public void FirstTest()
    {
        // Test code here is always run first
    }
    [Fact, TestPriority(2)]
    public void SeccondTest()
    {
        // Test code here is run second
    }
}

顺便说一句，我现在也有同样的问题。是的，这不是干净的艺术..但是 QA 想要手动测试..所以具有特定顺序的自动化测试对他们来说已经是一个很大的飞跃..（咳嗽）是的，这不是真正的单元测试..

Answer 3

如果您确实需要优先考虑您的测试（可能不是您的单元测试），您可以使用Xunit.Priority。 我已将它用于一些集成测试，并且工作得非常好且简单，无需为简单的案例场景编写优先级类的开销

Answer 4

由于某种原因，XUnit.Priority 对我不起作用。在我的测试用例中，它没有按照指定的优先顺序运行测试。

所以我尝试了XUnitPriorityOrderer，它与使用类似但正在工作（要快速测试它，请将以下代码保存在文本编辑器中作为 OrderedXUnitTests.linq，然后使用LinqPad 6 打开并执行它。或者，您也可以将TestClass复制到Visual Studio并添加XUnit、XUnit.Runner.VisualStudio和XUnitPriorityOrderer）：

<Query Kind="Program">
  <NuGetReference>XUnitPriorityOrderer</NuGetReference>
  <Namespace>Xunit</Namespace>
  <Namespace>XUnitPriorityOrderer</Namespace>
</Query>


#load "xunit"

// using XUnitPriorityOrderer
// see: https://github.com/frederic-prusse/XUnitPriorityOrderer
void Main()
{
    RunTests();  // Call RunTests() or press Alt+Shift+T to initiate testing.
}


#region private::Tests

[TestCaseOrderer(CasePriorityOrderer.TypeName, CasePriorityOrderer.AssembyName)]
public class TestClass
{
    static List<string> Order { get; set; }
    
    public TestClass()
    {
        Order = Order ?? new List<string>();
    }

    [Fact, Order(2)]
    void Test_Xunit_AnotherTest()
    {
        Order.Add("Test_Xunit_AnotherTest");
        Assert.True(3 + 1 == 4);
    }

    [Fact, Order(1)]
    void Test_Xunit()
    {
        Order.Add("Test_XUnit");
        Assert.True(1 + 1 == 2);
    }

    [Fact, Order(99)]
    void Print_Order()
    {
        Order.Add("Print_Order");
        var strOrder = string.Join(", ", Order.ToArray());
        strOrder.Dump("Execution Order");
        Assert.True(true);
    }
}
#endregion

这将按照给定的顺序（Order(1)、Order(2) 和 Order(99)）运行测试，并最终转储执行的测试（测试方法 Print_Order()）。

Answer 5

按照设计，你不能。这是故意随机的，以防止任何人出于愿望或意外获得其中之一。

随机性仅适用于给定的 Test 类，因此您可以通过包装您想要控制嵌套类内部顺序的项目来实现您的目标 - 但在这种情况下，您仍然会以 random 结束只要你在一个类中有两个以上的测试方法，就可以排序。

如果您尝试管理固定装置或上下文的构建，内置的IUseFixture<T> 机制可能是合适的。有关示例，请参见 xUnit Cheat Sheet。

但你真的需要告诉我们更多关于你想要做什么的信息，否则我们只能投机取巧。