Junit/Ant 重新运行失败的测试

Question

我想知道是否有人知道如何在同一次运行中重新运行失败的 Junit 测试。例如，测试 1-5 运行并全部通过，然后当测试 6 运行时，它第一次失败。然后它会自动再次运行第二次，然后继续进行测试 7。我正在使用一个运行我所有测试的 ant 脚本。 如果有帮助的话，测试将在 Hudson 盒子上运行。我读到了能够选择失败的测试并将它们放入一个新文件中，在第二次运行套装时运行它们，但这并不是我真正想要的。

任何正确方向的帮助或指示都会有所帮助。谢谢。

<!-- ============================= -->
<!--   target: test-regression-all -->
<!-- ============================= -->
<!--
<target name="test-regression-all" description="Runs all tests tagged as regression" depends="compile">
    <mkdir dir="${target.reports.dir}"/>
    <junit printsummary="yes" haltonerror="no" haltonfailure="no" fork="yes"
               failureproperty="junit.failure" errorproperty="junit.error" showoutput="true">           
        <formatter type="xml"/>
        <classpath>
            <pathelement location="${target.build.classes.dir}"/>
            <path refid="classpath"/>
        </classpath>
        <batchtest todir="${target.reports.dir}">
           <fileset dir="${src.dir}">
              <include name="emailMarketing/AssetLibrary/*.java" />
              <include name="emailMarketing/attributes/*.java" />
              <include name="emailMarketing/contacts/*.java" />
              <include name="emailMarketing/DomainKeys/*.java" />
              <include name="emailMarketing/lists/*.java" />
              <include name="emailMarketing/messages/*.java" />
              <include name="emailMarketing/Segments/*.java" />
              <include name="emailMarketing/UploadContact/*.java" />
              <exclude name="emailMarketing/lists/ListArchive.java"/>
              <exclude name="emailMarketing/messages/MessageCreation.java" />
           </fileset>
        </batchtest>
        <jvmarg value="-Duser=${user}"/>
        <jvmarg value="-Dpw=${pw}"/>
        <jvmarg value="-Dbrowser=${browser}"/>
        <jvmarg value="-Dserver=${server}"/>
        <jvmarg value="-Dopen=${open}"/>
        <jvmarg value="-DtestType=regression"/>
    </junit>
    <junitreport todir="${target.reports.dir}">
        <fileset dir="${target.reports.dir}">
            <include name="TEST-*.xml"/>
        </fileset>
        <report todir="${target.reports.dir}"/>
    </junitreport>
    <fail if="junit.failure" message="Test(s) failed.  See reports!"/>
    <fail if="junit.error" message="Test(s) errored.  See reports!"/>
</target>

Answer 1

JUnit 1.8.0 有一个用于 junit 的“失败”格式化程序，可用于创建仅包含失败测试的 TestCase。见http://ant.apache.org/manual/Tasks/junit.html：

The fourth formatter named failure (since Ant 1.8.0) collects all failing testXXX()
methods and creates a new TestCase which delegates only these failing methods.
The name and the location can be specified via Java System property or Ant property
ant.junit.failureCollector. The value has to point to the directory and the name of
the resulting class (without suffix). It defaults to java-tmp-dir/FailedTests.

Answer 2

这行得通吗？

http://stefan.samaflost.de/blog/en/Apache/Ant/rerun_tests_that_failed.html

Answer 3

看看 Ant Retry 任务。

<target name="myTest1">
    <mkdir dir="${junit.output.dir}" />
    <retry retrycount="3">
      <junit haltonerror="yes" haltonfailure="yes" 
             fork="no" printsummary="withOutAndErr" 
             showoutput="true" tempdir="c:/tmp">
      <formatter type="xml" />
      <test name="MyPackage.myTest1" todir="${junit.output.dir}" />
      <classpath refid="Libs.classpath" />
      <formatter type="brief" usefile="false"/>
      </junit>
    </retry>
</target>

Answer 4

测试应该是确定性的，这样错误是可重现的。因此，立即重新运行失败的测试将再次失败。

测试应该是独立的，即每个测试都应该进行自己的设置（和拆卸）。使用 junit，您通常没有执行测试的特定顺序。因此没有必要重新运行 test6 来设置 test7 的环境。

如果您想要测试用例优先级，即在代码修复后重新运行测试时从失败的测试开始：

• http://www.cs.umd.edu/~atif/Teaching/Fall2009/Yuening.pdf 概述了一些技术
• Kent Beck 的 JUnit Max 是一个很棒的工具，但每年的费用约为 100 美元
• Infinitest 是另一种连续测试运行器和开源软件。它还利用了测试用例优先级，但我对此的体验相当令人失望。