在 Apache Airflow 中从 Sequential executor 升级到 Celery executor

Question

我在 EC2 实例 (Ubuntu) 上运行 Apache Airflow。一切运行良好。 DB 是 SQLite，执行器是 Sequential Executor（默认提供）。但现在我想运行一些需要每小时和每 2 分钟同时运行的 DAG。 我的问题是如何将我当前的设置升级到 Celery executor 和 postgres DB 以获得并行执行的优势？

如果我安装和设置 postgres、rabbitmq 和 celery，它会起作用吗？并在airflow.cfg 配置文件中进行必要的更改？

或者我需要从头开始重新安装所有东西（包括气流）？

请指导我。

谢谢

Answer 1

您确实可以安装 Postgres/RabbitMQ/Celery，然后更新您的配置文件 (airflow.cfg)，初始化数据库，然后重新启动 Airflow 服务。

然而， 有一个附带说明：如果需要，您还必须将数据从 SQLite 迁移到 Postgres。最重要的是，数据库包含您的连接和变量。可以预先导出变量，然后使用 Airflow CLI 再次导入它们（请参阅 this answer 和 Airflow documentation）。

也可以使用 CLI 导入您的连接，如 Airflow guide（或 documentation）中所述。

如果您刚刚切换到新的数据库设置并发现缺少某些内容，您仍然可以通过将更改还原为 airflow.cfg 轻松切换回 SQLite 设置。