多个任务作为一个组的气流重试

Question

我有一组任务应该作为一个单元运行，从某种意义上说，如果组中的任何任务失败，整个组都应该被标记为失败。

我希望能够在组失败时重试该组。

例如，我有一个包含以下任务的 DAG：

taskA >> (taskB >> taskC) >> taskD

我想说(taskB >> taskC)是一个群。

如果taskB 或taskC 失败，我希望能够重新运行整个组(taskB >> taskC)。

Answer 1

这是一个两部分的问题。

首先，在 Airflow 中，下游任务不能影响上游任务。假设结构：

taskA >> taskB >> taskC >> taskD

那么如果taskB 成功并且taskC 失败。它不能将taskB的状态更改为失败。

其次，清除（重新运行）一个任务组是一个目前不可用的功能。在 Airflow repo 中有一个开放的功能请求。你可以在这个link查看。