我们目前有一堆独立的作业在不同的服务器上运行并使用 crontab 进行调度。目标是对服务器上的所有作业以及它们是否成功运行等有一个单一的视图。
Airflow 是我们正在考虑使用的工具之一。但是我们的服务器配置非常不同。是否可以设置气流，使 DAG1（以及气流调度程序和网络服务器）在 server1 上运行，而 DAG2 在 server2 上运行而无需 RabbitMQ。
基本上我想实现类似于此处给出的第一个答案（或仅在 DAG 级别）：Airflow DAG tasks parallelism on different worker nodes 以最快和最简单的方式！
谢谢
【问题讨论】：
您可以结帐Running Apache-Airflow with Celery Executor in Docker。
要使用 celery，您可以将一个 redis 节点实例化为一个 pod，并继续跨多个主机管理任务。
上面的链接还将为您提供一个入门 docker-compose yaml，以帮助您在 celery executor 上快速开始使用 Apache Airflow。
是否可以设置气流使 DAG1（和气流 scheduler & webserver) 在 server1 上运行，DAG2 在 server2 上运行 没有 RabbitMQ。
默认情况下，Airflow 将尝试在 Celery Executor 上使用多个主机，并且该部门将始终处于任务级别而不是 DAG 级别。
This post 可能会帮助您在特定工作节点上生成特定任务。
【讨论】：