气流配置 - Celery Executor / Kubernetes Executor

【问题标题】：Airflow Configuration - Celery Executor / Kubernetes Exexutor气流配置 - Celery Executor / Kubernetes Executor
【发布时间】：2019-07-09 08:43:05
【问题描述】：

我在多节点环境中使用 Hadoop 和 Spark。我已经安装了 Airflow 来自动执行多个 spark 任务。要在多节点中运行这个 DAG，Celery executor 还是 Kubernetes executor 是 Airflow 中的最佳选择？

【问题讨论】：

所有条件相同，我推荐 KubernetesExecutor，并推荐这篇博文作为阅读以帮助证明原因：medium.com/bluecore-engineering/… 但是，根据您的部署环境使用 CeleryExecutor 可能是有意义的。

标签： airflow

【解决方案1】：

CeleryExecutor 是为水平扩展而构建的。调度程序将消息添加到队列中，Celery 代理将其传递给 Celery 工作人员。我们有固定的资源来运行 Celery Worker，如果同时有很多任务处理，我们肯定会遇到资源问题。并且当时没有任何任务正在处理，我们在那个时候洗钱。

使用 KubernetesExecutor，对于每个需要运行的任务，Executor 与 Kubernetes API 对话以动态启动额外的 Pod。通过使用 Kubernetes，您可以扩大或缩小规模以节省资源并节省资金

【讨论】：