【发布时间】：2025-11-29 08:45:01
【问题描述】：
我们在 Airflow 中使用 Local Executor 来安排作业。当 Dags 文件的数量增加时，我们面临着 dag 运行缓慢，Dag 内的任务处理速度非常慢。
目前我们保留了大约 30 个 dag 文件。每个 dag 最多有 2 到 4 个任务。
我们尝试使用更少的 dag，我可以看到它运行得很快。
我们可以在气流中使用的 dag 数量有什么限制吗？
请建议我如何解决这个问题。
我们使用的是 Airflow 1.10.9。
【问题讨论】：
-
（仅当您的 DAG 相似/具有相同结构时才适用）您可以查看programmatically generating DAGs；这样至少磁盘 I/O 会下降，因为单个（或少数）文件将能够生成数百个 DAG
标签： airflow