如何确定自动化功能测试是否成功

Question

目标：

• 确定功能测试是否成功。

场景：

• 我们有一个功能要求：“用户应该能够使用用户名和密码进行注册。用户名必须是有效的电子邮件地址。密码必须至少有 8 个字符长”。
• 我们有一个方法“SignupResult UserManager.Signup(string username, string password)”。
• 我们想要一个有效输入的快乐测试和一个无效输入的悲伤测试。
• UserManager 的子系统（例如数据库）可以是模拟系统或真实系统。

问题： 确定用户是否成功注册的最佳方法是什么。我可以想象以下选项：

• 如果任何子系统被模拟，可以检查是否调用了诸如“DB.SaveUser(...)”之类的特定函数。这会破坏功能测试是黑盒测试的想法，并要求测试编写者了解实现。
• 如果我们使用真正的子系统，例如可以检查数据库中的行是否存在。像上面的尝试那样，这还不够。
• 可以使用另一个函数，如“UserManager.CheckUser(...)”来检查用户是否已创建。这将引入另一种经过测试的方法，也可能存在没有“测试对应物”的操作，或者必须实现它们，只是为了测试 - 这似乎并不理想。
• 我们可以检查结果“SignupResult”和/或检查抛出的异常。这将需要定义方法的接口。这也需要所有方法都返回一个合理的值——我想这无论如何都是一个好方法。

对我来说，最后一种方法似乎是可行的方法。我对么？还有其他方法吗？我们如何检查诸如“一封电子邮件已发送给新用户”之类的副作用？

Answer 1

您可能想了解Test Pyramid 的概念。

设计和实施自动化测试没有唯一正确的方法——只有trade-offs。

如果您绝对必须避免了解任何有关实现细节的知识，那么实际上只有一种方法可以解决：测试实际系统。

问题在于，自动化测试往往会留下一连串持续的状态变化。例如，我曾经做过类似您所问的事情，并编写了一系列使用实际系统（REST API）来注册新用户的自动化测试。

运营人员很快要求我关闭该系统，尽管它只产生了一小部分实际用户。

您可能认为次佳的做法是针对某些暂存或测试环境进行完整的系统测试。是的，但是你必须相信这个环境充分反映了实际的生产环境。你怎么知道？通过了解一些有关实现细节的信息。我不知道你怎么能避免这种情况。

如果您接受一点了解实现细节是可以的，那么很快就会变成一个问题，即有多少知识是可以接受的。

测试金字塔背后的经验是，单元测试比集成测试更容易编写和维护，而集成测试又比系统测试更容易编写和维护。

我通常发现这些测试的最佳位置是 self-hosted state-based tests，其中只有实际的系统依赖项，如数据库或电子邮件服务器被替换为 Fakes（而不是 Mocks）。

Answer 2

也许是需要进一步细化的需求。 例如，您的用户究竟会做什么来验证她是否正确注册？她怎么会知道？我想她会查看系统的响应：“帐户已成功创建”。然后她只会知道系统会发布一条消息以响应该有效的创建尝试。 对发布的消息进行测试是可行的，只是创建了一个帐户是不行的。这可以作为更具体的测试，在较低的测试级别上接受。

那么想想为什么用户应该注册？只看回复？需求如何：

当用户使用有效的用户名和有效密码注册时，她应该能够使用该用户名和密码的组合成功登录系统。

然后可以添加成功登录的定义，就像用户名和密码的有效性定义一样。

这是可行的，无需了解内部细节。就系统集成测试而言，它应该是可以接受的。