为什么 GAE 不会将负载分配给其他可用实例？

Question

首先，这是我的 app.yaml：

runtime: nodejs10
env: standard
instance_class: F1
handlers:
  - url: /.*
    script: auto
automatic_scaling:
  min_instances: 1
  max_instances: 20
inbound_services:
  - warmup

我正在为此使用 Apache Benchmark：

ab -c30 -n100000 "${URL}"

我在 GAE 控制台中注意到的是，我有 8 个可用实例，但只有 3 个实例承担了 99% 的工作。其余的要么不提供请求，要么只提供很小的一部分。

知道这里可能存在什么问题吗？

Answer 1

我建议在“app.yaml”文件中使用“max_concurrent_requests” 元素，因为该元素是自动扩展实例在调度程序生成新实例之前可以接受的并发请求数（请记住，最大限制为 80)。

此外，您还可以设置 “max_pending_latency”，指定 App Engine 在启动其他实例处理请求之前应允许请求在待处理队列中等待的最长时间，从而减少待处理延迟。 如果你达到了限制，这将是一个扩大规模的信号，所以实例的数量会增加。

Answer 2

负载不均匀分布在正在运行的实例中的事实是正常的，并且是实际需要的，只要仍在处理请求的实例数量足以以令人满意的性能水平处理当前负载水平 - 这允许其他实例空闲足够长的时间以自动关闭（由于不活动）。

这是用于自动和基本调度的动态实例管理逻辑的一部分。