将 Google Cloud Composer 集群缩小到零节点？答案

【问题标题】：Scale Google Cloud Composer cluster down to zero nodes?将 Google Cloud Composer 集群缩小到零节点？
【发布时间】：2020-04-29 18:01:34
【问题描述】：

我有一个 Cloud Composer 集群，每天运行大约十几个 dag。它们都在半夜运行 5 小时。最大的 DAG 在 5 个节点上运行大约需要 3 个小时，并且大部分工作是高度可并行化的（也就是说，如果我们将其扩展到 15 个节点，它会更快地完成）。为了保持低成本（或可能降低成本）并提高我们的吞吐量，如果我可以在大型 DAG 运行时扩展集群，然后在剩下的近 20 小时内缩减它，那就太好了在集群中什么都没有发生的那一天。使用 UI，它只能让我将集群缩减到 3 个节点。

我的问题：有没有办法在一天的一部分时间里完全“关闭”Cloud Composer 集群？如果有的话，我至少可以把它带到一个节点上吗？理想情况下，这将是一项自动化任务。

【问题讨论】：

标签： etl airflow google-cloud-composer

【解决方案1】：

traveloka 团队解决了同样的问题，并写了一篇关于该过程的详细文章。但在空闲情况下，它们运行 1 个节点而不是零。

https://medium.com/traveloka-engineering/enabling-autoscaling-in-google-cloud-composer-ac84d3ddd60

【讨论】：

【解决方案2】：

您可以在节点级别启用Autoscaling：

Workloads > your composer cluster name > enable Autoscaling
PROJECT=[provide your gcp project id]
COMPOSER_NAME=[provide your composer environment name]
COMPOSER_LOCATION=[provide the selected composer’s location e.g. us-central]
CLUSTER_ZONE=[provide the selected composer’s zone e.g. us-central1-a]
GKE_CLUSTER=$(gcloud composer environments describe \
${COMPOSER_NAME} \
--location ${COMPOSER_LOCATION} \
--format="value(config.gkeCluster)" \
--project ${PROJECT} | \
grep -o '[^\/]*$')
gcloud container clusters update ${GKE_CLUSTER} --enable-autoscaling \
--min-nodes 1 \
--max-nodes 10 \
--zone ${CLUSTER_ZONE} \
--node-pool=default-pool \
--project ${PROJECT}

对于工作人员级别，我们将在 Composer 中将 Kubernetes 的 Horizontal Pod Autoscaler (HPA) 应用到气流工作人员部署中。

【讨论】：

很好。但也许我不明白这应该做什么。我完全按原样运行了那个 sn-p（使用正确的值）。集群处于“更新”状态几分钟，似乎成功完成。集群没有发生任何事情，但我仍然有 4 个活动节点。也许我需要启用“节点自动配置”？

【解决方案3】：

云作曲家也有你无法做任何事情的成本

前端（appengine flex）
数据库

这些成本是小型作曲家集群的重要组成部分。

如果你想缩小到 0，我建议在 VM 上运行气流，而不是在受管理的 composer 环境中运行。气流完成运行后，您可以关闭 VM 以降低成本。

GKE（运行 composer），不能缩减到 0 个节点，因为它还运行一些需要 cpu 和 ram 才能运行的 kubernetes 服务。

除此之外，您应该查看 SANN3 发布的链接，因为该帖子提供了有关如何实现自动缩放的一些详细信息。

【讨论】：