为气流将创建以在 kubernetes 中运行任务的 pod 分配内存请求和限制

Question

我已经使用 helm stable/airflow 部署了气流：https://github.com/helm/charts/tree/master/stable/airflow

我已经用 celery executor 部署了它，并且我运行了一个需要读取大表的任务。我在运行此任务的 Pod 中收到此错误：

The node was low on resource: memory. Container base was using 3642536Ki, which exceeds its request of 0.
I understand that I have exceed the memory of the node is running this pod.

我想修改气流中每个 pod 使用的内存和 cpu 限制。我可以看到我可以限制工人的资源。

我的问题是：

如何指定内存请求，以及将从工作人员创建的 pod 的限制？因为我只能看到如何从工作人员那里设置资源，而不能看到工作人员创建的 Pot。

Answer 1

我认为您可能将 Celery Executor 与 Kubernetes Executor 混为一谈。 Kubernetes Executor 为每个任务实例创建一个新的 pod。使用 Celery Executor，您将获得预设数量的工作 pod 来运行您的任务。例如，您可以提前设置工作人员数量here。在这种情况下，设置 these values 应该为您的工作 pod 提供您需要的资源。他们的 README 中有很好的例子，说明了如果您需要动态缩放，您可以如何利用它。

Answer 2

您可以通过修改 helm chart 中的values.yaml 来指定调度程序的资源。

您可以通过在本地拉动图表来做到这一点，例如运行：

helm fetch --untar stable/airflow

然后修改scheduler:resources中的values.yaml文件，例如：

 163 scheduler:
 164   resources:
 165      requests:
 166        cpu: "100m"
 167        memory: "1Gi"
 168      limits:
 169        cpu: "100m"
 170        memory: "1Gi"

然后安装图表helm install airflow . 指定的资源将分配给pods。