【发布时间】:2021-01-13 08:59:21
【问题描述】:
美好的一天,
我们使用 Airflow 来协调工作的运行。 有问题的工作通常安排在 2:30,并且需要相当长的时间。 由于使用了新的数据源,预计它会运行一整天。 由于我们的作业不能并行工作,因此我们将 max_active_runs_per_dag 设置为 1,以确保即使在超过 24 小时的情况下也不会出现同一作业的多个实例。一般来说,这似乎可行,但在这种情况下却不行。
发生了什么:
- 我们在 13:00 触发了手动运行
- 在 2:30(次日)触发预定运行并同时运行
期望:
- 计划运行应等待手动运行完成
更多信息:
- Airflow 实例未重新启动。
- 气流版本 1.10.2
感谢您的建议。
【问题讨论】: