什么是控制 TestNG 中组测试的顺序？

Question

当我不使用dependonGroup=X 或priority=X 等功能时，TestNG 如何确定分组运行测试的顺序？

长话短说，我正在查看这个测试站点：

http://www.tutorialspoint.com/testng/testng_group_test.htm

我剪切并粘贴了 3 个示例文件的行，以尝试了解 TestNG 和组测试。当我运行它时，输出与网站所说的相符。

好结果：

Inside testPrintMessage()
.com
Inside testExitMessage()
www..com

===============================================
Suite1
Total tests run: 2, Failures: 1, Skips: 0
===============================================

接下来我以为我正在整理代码并修复一个错字，这给了我一个奇怪的结果。在 GroupTestExample.java 中，我将方法从 testingExitMessage 更改为 testExitMessage。我不知道 3 个字母如何改变正在运行的测试的顺序。

Bad Results - 查看测试函数的顺序如何交换，从而影响失败次数

Inside testExitMessage()
www..com
Inside testPrintMessage()
www..com

===============================================
Suite1
Total tests run: 2, Failures: 2, Skips: 0
===============================================

有人可以向我解释可能发生了什么，为什么更改方法名称会导致测试顺序发生变化？

MessageUtil.java

/*
* This class prints the given message on console.
*/
public class MessageUtil {
    private String message;

    // Constructor
    // @param message to be printed
    public MessageUtil(String message) {
        this.message = message;
    }

    // prints the message
    public String printMessage() {
        System.out.println(message);
    return message;
    }

    // add "tutorialspoint" to the message
    public String salutationMessage() {
        message = "tutorialspoint" + message;
    System.out.println(message);
    return message;
    }

    // add "www." to the message
    public String exitMessage() {
    message = "www." + message;
    System.out.println(message);
    return message;
    }
}

好 GroupTestExample.java

public class GroupTestExample {
    String message = ".com";
    MessageUtil messageUtil = new MessageUtil(message);

    @Test(groups = { "functest", "checkintest" })
    public void testPrintMessage() {
        System.out.println("Inside testPrintMessage()");
    message = ".com";
    Assert.assertEquals(message, messageUtil.printMessage());
    }

    @Test(groups = { "checkintest" })
    public void testSalutationMessage() {
    // Removed code since this method wasn't the problem method
    }

    @Test(groups = { "functest" })
    public void testingExitMessage() {
        System.out.println("Inside testExitMessage()");
        message = "www." + "tutorialspoint"+".com";
    Assert.assertEquals(message, messageUtil.exitMessage());
    }
}

testng.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" >
<suite name="Suite1">
    <test name="test1">
        <groups>
        <run>
        <include name="functest" />
        </run>
    </groups>
    <classes>
        <class name="GroupTestExample" />
    </classes>
    </test>
</suite>

“坏” GroupTestExample.java

    // same code as above except I changed this method from testingExitMessage to
    // testExitMessage b/c that's what the println msg shows and I thought I was 
    // fixing a typo.

    public void testExitMessage() {
        System.out.println("Inside testExitMessage()");
        message = "www." + "tutorialspoint"+".com";
    Assert.assertEquals(message, messageUtil.exitMessage());
    }

Answer 1

TestNG 按照它们在 XML 文件中找到的顺序运行测试，在您的情况下，您没有在 XML 文件中指定方法并且测试以不可预测的顺序运行（我相信这取决于编译器）。

Answer 2

您可以在测试中设置优先级。

例如。 @Test (priority=1)

然后，在您的testNG.xml 文件中，您可以设置preserve-order="true"