如何在 Jenkins 上比较两个机器人结果

Question

假设我在第 1 天使用 Robot Framework 在 Jenkins 上运行了 100 个测试用例，并且有 10 个用例失败了。
第二天，我运行了同样的 100 个案例，但现在有 15 个案例失败了。

所以我想知道新的测试用例在第 2 天失败的原因是什么。有人可以建议一种方法吗？

Answer 1

最简单的方法是比较生成的两个 output.xml 文件，看看有什么不同。几个命令行工具可以帮助你。

如果这是频率较低的工作之一，那么您可能想尝试可以从Robotframework site 下载的robotdiff python 脚本。它完全符合您的要求。

如果此请求发生得更频繁，并且比较可能更复杂，那么将结果存储在数据库中可能是最好的方法。然后使用 SQL 你可以提取你需要的比较。 DbBot 将 output.xml 文件转换为数据库。