Google App Engine 中的实例延迟

Question

我正在运行一个免费应用程序并使用 GAE 的 Python 运行时使用 1 个最大空闲实例。

根据http://code.google.com/appengine/docs/adminconsole/instances.html，

您的应用程序的延迟对 为您的流量提供服务所需的实例。如果您服务请求 很快，一个实例就可以处理很多请求。

这似乎表明最好将“应用程序设置”中的滑块调整到最小延迟。

但是，根据http://code.google.com/appengine/docs/adminconsole/performancesettings.html#Setting_the_Minimum_Pending_Latency，

似乎具有高延迟有利于防止负载峰值启动新实例。

那么延迟基本上是在响应请求峰值的能力（高延迟）与在给定时间段内处理的请求数量（低延迟）之间的权衡吗？

Answer 1

“待处理延迟”是指在 App Engine 决定启动另一个实例之前，请求可以在队列中等待多长时间。如果请求到达时您的所有应用程序实例都处于忙碌状态，则该请求将在队列中等待下一个可用实例处理。如果超出最小值，App Engine 可能会决定启动一个新实例来处理请求。 （您还可以调整最大等待延迟设置。）

最小挂起延迟是可配置的，因为启动新实例需要时间和成本。较大的最小挂起延迟意味着 App Engine 将在启动新实例之前将挂起的请求保留更长时间（并让它们等待），从而有利于处理更多流量的能力。较小的最小挂起延迟意味着 App Engine 将随着流量增加而更频繁地启动新实例。

术语“延迟”只是指您的应用响应请求所需的时间。您的应用程序响应请求的速度越快，单个实例可以处理的请求就越多，请求队列通常也就越短。较低的延迟总是好的，但它需要由应用快速完成。