处理回归测试中的预期变化

Question

我正在为我的服务使用持续部署，该服务生成 XML 文件作为输出。为了实现这一点，我们计划将回归测试添加到我们的部署流程中，我们将在其中比较使用此代码更改生成的 XML 文件与没有此代码更改的 XML 文件。

但是由于某些代码的更改可能会导致输出之间的差异，从而导致测试失败。

一种方法是允许测试失败并生成一个差异报告，然后手动批准该报告。

此类情况在持续部署中一般如何处理？

Answer 1

您可以使用类似xmldiff tool 的东西，它会在 XML 文件之间创建人类可读的差异。如果进行了导致测试失败的代码更改，则已经为您生成了差异报告。

我使用过类似的工具来进行屏幕截图比较，虽然它们最终在出现意外更改时仍需要人工审核，但它加快了进程。