【问题标题】:Airflow runs manual and scheduled Dag even though max_active_runs_per_dag=1即使 max_active_runs_per_dag=1,气流也会运行手动和计划的 Dag
【发布时间】:2021-01-13 08:59:21
【问题描述】:

美好的一天,

我们使用 Airflow 来协调工作的运行。 有问题的工作通常安排在 2:30,并且需要相当长的时间。 由于使用了新的数据源,预计它会运行一整天。 由于我们的作业不能并行工作,因此我们将 max_active_runs_per_dag 设置为 1,以确保即使在超过 24 小时的情况下也不会出现同一作业的多个实例。一般来说,这似乎可行,但在这种情况下却不行。

发生了什么:

  • 我们在 13:00 触发了手动运行
  • 在 2:30(次日)触发预定运行并同时运行

期望:

  • 计划运行应等待手动运行完成

更多信息:

  • Airflow 实例未重新启动。
  • 气流版本 1.10.2

感谢您的建议。

【问题讨论】:

    标签: airflow airflow-scheduler


    【解决方案1】:

    似乎是一个未解决的问题,将在 2.1 和 1.15 中修复。 尚未提供解决方法。 https://github.com/apache/airflow/issues/9975

    【讨论】:

      猜你喜欢
      • 2022-08-18
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-11-18
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多