【问题标题】:aiflow max active dag runs reached达到气流最大活动 dag 运行次数
【发布时间】:2018-10-11 06:04:18
【问题描述】:

Airflow 启动后,不会执行特定 dag 的任何 dag 运行并达到最大活动 dag。即使将 dag 运行状态设置为成功后,调度程序似乎也不会将新计划的任务移动到执行状态。所有活动的 dag 运行都保持在“运行”状态。这仅发生在一些 dags 上。有人可以帮忙吗?

【问题讨论】:

  • 您似乎在描述 Web 服务器所描述的状态。请确认您的调度程序正在运行且健康。 DAD 运行的最大数量的配置设置是多少?

标签: python airflow


【解决方案1】:

检查实例任务详细信息,找出导致 DAG 无法执行的问题。

【讨论】:

    【解决方案2】:

    这意味着 dag_concurrency 设置为比您尝试使用的并发任务数更少。有一个名为 airflow.cfg 的文件,您可以在其中更改一些执行配置,一个是 dag_concurrency,它可能设置为 '6' 根据需要增加它,只要确保它不超过可能导致问题的并行度数。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2022-08-18
      • 2022-11-02
      • 2021-05-03
      • 2019-01-26
      • 2019-01-08
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多