用于批处理的多地区 GKE 集群

Question

我正在使用 GKE 区域集群上的自动扩展抢占式节点对数据进行批处理。 GPU 时不时地变得稀缺。我没有尝试切换区域来追逐 GPU（我已经这样做了），而是尝试更改为多区域配置。从我的角度来看，在一些轻到中等规模的工作负载上似乎一切正常。

我在 UI 中看到有关不平衡节点池的警告，因为节点池似乎在有可用资源的区域中扩大。这个警告严重吗？不同区域中不同节点号的后果是什么？我应该改为为每个区域运行单独的池吗？

我在节点之间进行了大量的通信——我的带宽受到不同区域的工作人员的影响有多大？ GKE docs 表示没有入口限制，只有出口比区域内慢，比区域间快。

Answer 1

根据Bandwidth 汇总表，入口和出口没有限制，部署在多区域中的节点之间的带宽连接比区域内的连接略低。

集群自动扩缩器仅在扩展事件期间跨区域平衡。 Cluster autoscaler 会缩减未充分利用的节点，而不管节点池中底层托管实例组的相对大小如何，这可能会导致节点在区域之间分布不均。

如果您指定最少零个节点，则空闲节点池可以完全缩减。但是，集群中必须始终至少有一个节点可用以运行系统 Pod。

有关平衡节点组的更多信息，请参阅link。