Visual Studio 云负载测试平均测试时间似乎很长

Question

我有一个 WebAPI 服务，用于测试托管在 Azure 中的吞吐量。我已将其设置为使用可配置编号（IE webservice/api/endpoint?delay=500）调用 Task.Delay。当我通过 Fiddler 对端点运行时，一切都按预期工作，延迟等。

我使用 VS Enterprise 创建了一个负载测试，并使用我的一些免费云负载测试分钟数在 2 分钟内对 500 个并发用户进行了猛烈抨击。多次运行负载测试后，平均测试时间约为 1.64 秒。我已关闭测试的思考时间。

当我在 Fiddler 中与负载测试同时运行我的请求时，我看到了亚秒级的响应，即使是在向执行按钮发送垃圾邮件时也是如此。我的负载测试有效地做同样的事情并获得 1.64 秒的响应时间。

我错过了什么？

在我的单元测试中运行的代码（然后在我的负载测试中调用）：

var client = new HttpClient { BaseAddress = new Uri(CloudServiceUrl) };

var response = client.GetAsync($"{AuthAsyncTestUri}&bankSimTime={bankDelay}&databaseSimTime={databaseDelay}");

AuthAsyncTestUri 是我的云托管服务的端点。

Answer 1

有几个delay()、sleep()、pause()等方法可用于一个进程。这些方法会导致线程（或其中一些可能的程序或进程）暂停执行。不建议从负载测试中使用的代码调用它们，请参阅Visual Studio Performance Testing Quick Reference Guide（版本 3.6）第 187 页的底部。

Visual Studio 负载测试没有每个虚拟用户一个线程。每个操作系统线程运行许多虚拟用户。在四核计算机上，我看到了使用四个线程为虚拟用户进行的负载测试。

假设负载测试在四核计算机上运行，​​Visual Studio 启动四个线程来执行测试用例。假设一位虚拟用户拨打sleep() 或类似电话。这将暂停该线程，留下三个线程可用于执行其他虚拟用户活动。假设四个虚拟用户几乎同时拨打sleep() 或类似电话。这将停止所有四个线程，并且没有虚拟用户能够执行。

---

回复添加到问题中的以下评论

我确实尝试在 5 个用户负载下运行它，发现平均测试时间不到 500 毫秒，这与我在 Fiddler 请求中看到的相符。我仍在试图弄清楚为什么 500 用户测试的时间急剧增加，而 Fiddler 请求在 500 用户测试中间运行时保持不变。

我认为这条评论突出了问题所在。在用户负载较低时，Visual Studio 负载测试和 Fiddler 测试给出的时间相似。在更高的负载下，负载测试和服务器之间的某些东西会限制吞吐量并导致速度变慢。值得检查运行测试的计算机和被测试系统之间的网络路由。那条路径上是否有任何缓慢的路段？是否有任何段可能将负载测试视为拒绝服务攻击并因此可能减慢流量？

仅运行 2 分钟的测试并不能真正显示测试的运行方式。问题中的详细信息确实说明了在两分钟运行结束时开始了多少测试，完成了多少以及放弃了多少。有可能很多测试用例被放弃了，完成的平均时间是 1.6 秒。

如果您有问题运行的结果，请查看结果的“详细信息”部分。展开图像下方的滑块以包含整个运行。勾选选项（左上角）以突出显示失败的测试。我希望在测试失败的两分钟时会看到很多红色。但是，与采样间隔（在运行设置中）相比，两分钟的运行可能太短而无法看到太多。

在 500 个用户上运行第一次测试告诉你的很少。它告诉您系统可以处理该负载，或者它不能。您需要在几个不同的用户负载下运行测试。然后你开始了解工作和不工作之间的界限在哪里。因此，我建议使用阶梯式负载。

我相信您至少需要再进行一次测试才能了解正在发生的事情。我建议按如下方式运行。设置一分钟的冷却时间。设置阶梯式负载：从 5 个用户开始，因为你知道这很有效。每两秒增加 1 个用户，直到 100 个用户。这将需要 190 秒。在 100 个用户负载下再运行大约一分钟。总共4分10秒。叫它4分钟。加上一分钟的冷却时间（5 分钟）x (100 VU) = 500 VUM，这是每月免费分钟数的一小部分。运行后查看平均测试时间的图表。如果该测试一切正常，那么您可以尝试另一个更快地提升到 500 个用户的测试。