没有 celery 或 kubernetes 的 Apache Airflow答案

【问题标题】：Apache Airflow without celery or kubernetes没有 celery 或 kubernetes 的 Apache Airflow
【发布时间】：2020-01-24 11:22:08
【问题描述】：

有什么方法可以不使用 celery 或 kubernetes 来运行工作流。 Doc 只指定了在多集群模式下运行它的两种方式。我不能只拥有另一个多个 EC2 实例来运行我的工作人员进行计算。（不使用 celery 或 kubernetes）。

【问题讨论】：

【解决方案1】：

假设您有多个 EC2 实例。您将如何通过 Airflow 管理它们？您将如何在这些 EC2 实例之间分配负载？ Celery 或 Kubernetes 负责这些任务。

如果由于某种原因您无法使用 Celery 或 Kubernetes，您可以在单个实例上安装 Airflow 并根据需要扩展其资源。

【讨论】：

【解决方案2】：

实现您想要的唯一方法是编写您自己的执行器（EC2Executor？）来满足您的要求。

【讨论】：