GAE 缩放规则

Question

这与：How does Google App Engine Autoscaling work? 不同。

TLDR;我有一个 GAE 应用程序，它的端点必须等待一段时间才能返回。大约15秒。它在等待时并不是特别努力。由于第三方集成，我真的没有办法实现轮询或回调，而不是漫长的等待。

我担心漫长的等待时间会让 Google 认为我的负载很重，因此新的 gae 实例将毫无意义地生成，并且当我准备好处理实例时，请求可能最终排在队列中新作品。

文档告诉我“[是否启动新实例，以及是否将传入请求发送到队列或实例的决定] 考虑了可用实例的数量、应用程序的速度一直在服务请求（它的延迟），以及启动一个新实例需要多长时间”。

我希望 GAE 期望我的应用程序响应缓慢，但一切正常。

我只是在谷歌的文档中努力寻找一个直接的答案。

PS：我认为这行不通：

max_pending_latency：App Engine 应该等待的最长时间 在开始新的请求之前允许请求在待处理队列中等待 实例来处理它。默认值为“30ms”。

原因是：我说的是请求到达我的视图代码和我的视图代码返回之间的延迟。如果我允许在队列中等待 15 秒，那么客户端请求可能会被撞到队列中，然后当 GAE 认为我的应用程序负载过重（但不是）时就坐在那里，然后 GAE 最终会将请求发送到我的长时间等待视图这将等待很长时间才能返回任何东西，从而导致 GAE 吓坏了，并将更多的东西放在队列中，并试图产生更多的实例。

这是我认为正在发生的事情（大大简化）

• 请求到达
• gae 检查是否有可以处理它的实例。是的，它转到了 instanceA（现在会持续一段时间）
• 10 秒后另一个请求到达
• GAE 将其放入队列并检查 instanceA 是否可以处理它
• instanceA 似乎负载过重。 GAE 不会只是将请求发送到 instanceA
• 请求将在队列中等待一段时间
• 在某个时间点，请求将转到一个实例。任何一个：
  • instanceA 最终返回，并且负载估计现在较低，因此 instanceA 得到它
  • instanceB 已创建并提供新请求

这是我想要发生的事情：

• 请求到达
• gae 检查是否有可以处理它的实例。是的，它转到了 instanceA（现在会持续一段时间）
• 10 秒后另一个请求到达
• GAE 将其放入队列并检查 instanceA 是否可以处理它
• instanceA 不是很忙，所以请求转到那里
• 我感到工作做得好时散发出温暖的光芒

据我所知，在不产生一百万个实例且排队时间长的情况下，我可以让它工作的唯一方法是不使用 GAE

Answer 1

我认为您想使用max_pending_latency 和min_pending_latency，特别是尝试将它们增加到并超过您提到的标称15 秒阈值。来自app.yaml Reference / Scaling Elements：

ma​​x_pending_latency： App Engine 在启动新实例处理请求之前应允许请求在待处理队列中等待的最长时间。默认值为“30ms”。

较高的最大值意味着用户可能会等待更长的时间等待他们的请求得到处理（如果有待处理的请求并且没有空闲实例来为它们提供服务），但您的应用程序的运行成本会更低。

min_pending_latency： App Engine 在启动新实例来处理请求之前，应允许请求在待处理队列中等待的最短时间。

较高的最小值意味着如果所有现有实例都处于活动状态，则请求将保持更长的等待时间。这降低了运行成本，但增加了用户必须等待其请求得到处理的时间。

所以，也许是这样的：

application: simple-sample
module: my_module
version: uno
runtime: python27
api_version: 1
instance_class: F1
automatic_scaling:
  min_idle_instances: 0  # Don't even know if 0 is valid, but should be least costly
  max_idle_instances: 0
  min_pending_latency: 30000ms
  max_pending_latency: 30000ms
  max_concurrent_requests: 80  # Maximum value: you want one instance to handle as much traffic as possible