气流集群：是否需要在所有工作人员中部署 DAG / 工作流？

Question

我们计划更新 Airflow 并从单个 Airflow 服务器切换到 Airflow 集群 (AWS)。

我们一直在检查这个article 和this one。

我们使用 SQS 作为队列服务，尽管文档说我们只需要在 master 中部署 DAGs py 文件，但我们想知道这是否正确。

1. 通过队列的通信不包含代码
2. 在我们的测试中，我们的 DAG 无法正常工作，以防我们未将它们部署到所有节点、worker 和 master 中。

那么，我们应该怎么做呢？

非常感谢！

Answer 1

您的 DAGS 需要在所有工作人员之间同步才能工作，因为airflow_scheduler 会将 DAG 发送给任何可用的工作人员。如果 DAGS 未在所有工作人员之间同步，则可能会运行 DAG 的较旧副本。