作曲家自动缩放？答案

【问题标题】：Composer auto scaling?作曲家自动缩放？
【发布时间】：2018-05-24 22:17:47
【问题描述】：

鉴于 GCP Cloud Composer 与 GKE/GCE 一起运行，它是自动缩放吗？

现在集群中有 3 个节点可以支持 100 个 DAG。

稍后，如果我有大约 300 个 DAG，它会自行扩大规模吗（使用 celery 工人）？

【问题讨论】：

你知道云作曲家是否支持自动缩放吗？我正在使用 Terraform 创建基础架构，但我没有看到任何此类自动缩放选项。还是没有吗？

标签： airflow google-cloud-composer

【解决方案1】：

我们目前不支持自动缩放，但它在我们的路线图中。但是，您可以通过更新 nodeCount 值手动扩大/缩小 GKE 集群。

【讨论】：

【解决方案2】：

我刚刚发表了一篇文章，展示了如何在其底层 kubernetes https://link.medium.com/AMUlwUIkD0 中启用自动缩放。

基本上：

在节点级别启用自动缩放
将 HorizontalPodAutoscaler 应用于 airflow-worker 部署
增加一些气流配置参数以消除瓶颈

这已经在 composer-1.7.2 和 composer-1.7.5 中进行了测试，但也可能适用于其他版本

去看看

【讨论】：

【解决方案3】：

此时没有自动缩放，但我希望它在路线图中。

Astronomer 正在使用 Kubernetes 开发一个自动缩放的 Airflow 服务，它可能会在 Google Composer 启动自动缩放的时候推出......所以好时机即将到来:)

【讨论】：

嘿@ryw，你知道云作曲家是否支持自动缩放吗？我正在使用 Terraform 创建基础架构，但我没有看到任何此类自动缩放选项。还是没有吗？
不幸的是，我不确定他们将如何/何时支持自动缩放。

【解决方案4】：

Cloud Composer 从主要版本 2 开始提供对 Environment Scaling 的原生支持：

gcloud beta composer composer environments update <ENVIRONMENT_NAME> \
--location <LOCATION> \
--min-workers <WORKERS_MIN> \
--max-workers <WORKERS_MAX>

见Scale Environments

【讨论】：