【发布时间】:2022-11-13 07:52:05
【问题描述】:
在 Airflow DAG 中定义多个“KubernetesPodOperator”任务时,所有任务都会并行执行。
为了实现顺序执行,可以定义依赖关系,比如task1 >> task2 >> task3等。
这种方法的问题在于失败场景,task1 单独无法重新执行,依赖任务将在task1 完成时执行。
如何在没有依赖的情况下按顺序执行任务?我不想修改 Airflow 配置,需要特定于 Airflow DAG/任务的设置。希望得到支持。
【问题讨论】:
-
您能否澄清“单独的任务1不能重新执行,依赖任务将在任务1完成时执行”的意思?如果任务 1 成功,则任务 2 将运行。如果任务 1 失败,则任务 2 和任务 3 将被标记为“上游失败”并且不会运行。你想要什么行为?
-
实际上不依赖于任务。 Ask是按顺序运行任务。添加依赖项后,重新运行成功的任务(出于某种原因)会触发下游任务,这是不希望的。
-
您如何通过 UI 重新触发任务 1?当您更改任务状态时,specify if the downstream tasks 也应该被清除。
-
@DanielT 是的!这将解决问题。我可以接受这个作为答案,请发布。
标签: airflow airflow-2.x