同一 GKE 集群上的多个 Airflow 设置

Question

我们目前正在考虑在同一个 GKE 集群上设置多个 Airflow 堆栈，但在不同的命名空间中（以节省成本）来运行 DBT 作业。

其命名空间中的每个 Airflow 堆栈都将使用 RBAC 身份验证来验证最终用户是否可以运行或观察作业。

我知道这不是一个典型的用例，但另一种选择是为每条服务线配备一个单独的 Cloud Composer，这将非常昂贵。

非常感谢任何帮助:)

Answer 1

您可以按照此处1 提供的方式使用 KubernetesPodOperator 在同一个 GKE 集群上运行多个 Airflow DAG。关联性用于根据标签限制您的 pod 有资格安排在哪些节点上。代码在同一个链接中的 affinity{...} 内。此外，还提到您可以使用自定义命名空间。