如何“开箱即用”地在 Kubernetes 上部署气流？答案

【问题标题】：How can I deploy airflow on Kubernetes "out of the box"?如何“开箱即用”地在 Kubernetes 上部署气流？
【发布时间】：2020-12-09 20:54:36
【问题描述】：

我对 Kubernetes 有点陌生，我正在尝试学习如何将气流部署到 Kubernetes。

我的目标是尝试在 Kubernetes 上为气流部署一个“开箱即用”（或至少更接近于那个）部署。我已经通过 Terraform（在 EKS 上）创建了 Kubernetes 集群，并希望将气流部署到集群。我发现相对于其他解决方案，Helm 可以帮助我更轻松地部署气流。

这是我迄今为止尝试过的（sn-p 和不完整的代码）：

provider "kubernetes" {
  host                   = data.aws_eks_cluster.cluster.endpoint
  cluster_ca_certificate = base64decode(data.aws_eks_cluster.cluster.certificate_authority.0.data)
  token                  = data.aws_eks_cluster_auth.cluster.token
  load_config_file       = false
}


provider "helm" {
  kubernetes {
    config_path = "~/.kube/config"
  }
}

data "helm_repository" "airflow" {
  name = "airflow"
  url  = "https://airflow-helm.github.io/charts"
}


resource "helm_release" "airflow" {
  name  = "airflow-helm"
  repository = data.helm_repository.airflow.metadata[0].name
  chart = "airflow-chart"
}

我不一定固定使用 Terraform（我只是认为它可能更容易并想保持状态）。因此，我也很高兴发现其他解决方案可以帮助我为所有需要的吊舱提供气流。

【问题讨论】：

标签： kubernetes airflow

【解决方案1】：

您可以使用官方存储库中的 Helm 安装它，但需要考虑很多额外的配置。气流配置在图表的values.yaml 中进行了描述。您可以查看this article 以检查示例配置。

对于使用 terraform 进行安装，您可以查看 into this article，其中详细描述了 Terraform 配置和 helm chart 的值。

【讨论】：