自动扩缩 Google Cloud Composer

Question

我已阅读 this Medium 文章，这是搜索自动缩放和 Cloud Composer 时最热门的文章之一。它显示了一些“hacks”，您可以在 Composer 仍然配置为使用 CeleryExecutor 时使用它们来自动缩放 Composer。

我还阅读了 GCP docs 关于将 KubernetesPodOperator (KPO) 与 Cloud Composer 结合使用的内容，并且之前已经实现了。

但是，使用 KPO 意味着您无法使用所有其他 Airflow Operators - 您必须每次都编写自己的容器和代码。

KubernetesExecutor 似乎是最好的前进方式 - 您可以使用 Airflow Operators，并且可以从 it will create a new Kubernetes Pod for every task instance 启用自动缩放。

Google Cloud Composer 目前在CeleryExecutor 上运行，它目前在Blocked Airflow Configurations 中声明

Cloud Composer 将 Airflow 配置为使用 Celery 执行器 对于core-executor 设置。

KubernetesExecutor 是否会成为 Composer 的选项？

Answer 1

很遗憾，由于没有官方计划，因此您的问题尚无法回答。也就是说，如果 Cloud Composer 产品团队至少没有考虑到这一点，我会感到惊讶。
不过一有消息，就应该在这个Feature Request发布。

Answer 2

我会推荐这个airflow-executors-explained CeleryExecutor 和 KubernetesExecutor 的功能比较概述。正如您已经在提供的链接中研究过的那样，CeleryExecutor 确实为 Composer 环境提供了可伸缩性。将 KubernetesExecutor 作为一个选项会很好，但不是必需的，因为额外的好处不会超过缺点。