Google App Engine - 延迟突然增加答案

【问题标题】：Google App Engine - Sudden increase in latencyGoogle App Engine - 延迟突然增加
【发布时间】：2019-12-20 17:02:59
【问题描述】：

在过去的几个小时内，我们发现我们的应用程序在 Google App Engine 延迟上的延迟突然增加。日志显示请求失败并显示消息“请求在等待太长时间以尝试为您的请求提供服务后被中止。”，没有堆栈跟踪或任何其他相关信息。用户得到一个空白页面，并显示消息“超出速率。”。未对与此延迟峰值相关的应用程序进行任何更改。

因此应用程序已关闭，没有来自应用程序引擎的信息可以帮助指出延迟的来源。

我们已经在 issuer tracker 中提交了一个问题，但还没有得到回复。

有没有人知道我们可以做些什么来处理这种情况？

更新

问题在 3 小时后突然消失，我们没有任何干预。由于对 min_idle_instances 达成共识，我们决定将所有设置保持原样，以便我们可以查看是否会再次发生这种情况。如果确实发生了这种情况，我们将有机会通过进行建议的更改来对此进行测试，并在此处发布更新。

这是整个事件的屏幕截图：

【问题讨论】：

您是否在 app.yaml 文件中指定了 min_idle_instances？
是的@ParthMehta。说得通。但是，min_iddle_instances 不会影响对新实例的第一次请求的延迟吗？在这种情况下，整个应用程序在 3 小时内无法访问，负载不超过正常负载。问题在 3 小时后突然消失，我们没有干预。我们已经使用相同的设置 app.yaml 超过 12 个月了
听起来可能与 GCP 中断有关，请查看 Google 服务状态页面：status.cloud.google.com 并查看是否有任何中断与您的中断时间相符。
是的@ParthMehta，谢谢。保加利亚实际上存在一个网络问题，其时间与我们的停机时间几乎完全一致。我想不出保加利亚的网络问题会如何影响美国应用程序的延迟，这很奇怪。 status.cloud.google.com/incident/cloud-networking/19023

标签： google-app-engine google-cloud-platform

【解决方案1】：

@Parth Mehta 添加的评论很有用，它让我想到了可能导致您的问题的原因。

我在想，您增加的延迟可能是由于在请求增加和进入时没有为请求准备好空闲实例，所以当请求增加时，会花费一些时间，直到新实例准备好并且可能存在延迟原因。

设置足够的 min_idle_instances 可能会缓解 500 的问题，因为它们会很温暖并为请求做好准备。

如果这不能解决您的问题，我建议您通过 GCP 支持创建一个案例，我们一定能够为您提供更多帮助。

试试看，然后告诉我们。

【讨论】：

应用程序在 3 小时内无法访问，问题突然消失，我们没有干预。我们已经使用相同的 appengine-web.xml 设置超过 12 个月了。我们决定保持设置不变，以便如果再次发生这种情况，我们可以尝试修改设置以查看问题是否已解决。看来这是检验假设的唯一方法。谢谢
嗨斯特凡。我向 GCP Support 提出了问题，他们确实回复了，谢谢。看起来有一个问题的时间几乎与我们的停机时间完全一致：status.cloud.google.com/incident/cloud-networking/19023。我已经询问 GCP 支持是否可以确认这是否是根本原因，在这种情况下，这就是答案。