你如何跳过 Airflow 中的 subDags？答案

【问题标题】：How do you skip subDags in Airflow?你如何跳过 Airflow 中的 subDags？
【发布时间】：2021-06-02 21:08:14
【问题描述】：

我正在尝试了解 Airflow 是否支持在 DAG 中跳过 subDag。

假设我的 DAG 如下所示：task1(FileSensor) -> task2(subDag-1) -> task3(subDag-2) -> task4(subDag-3)

假设我有一个要运行的subDags列表，比如['1','3']，意思是我要运行task1，然后是task2，然后是task4，跳过task3。（触发DAG时会通过配置提供要运行的subDag列表。）

我已经研究过使用 PythonOperator 跳过任务，但我不想将 taks2、task3 和 task4 与 PythonOperator 一起使用。我还想在 Airflow UI 中将 SubDAG 标记为“已跳过”。

有什么方法可以实现吗？

编辑：由于 SubDags 被TaskGroups 贬值，我使用了TaskGroups 并添加了一个PythonOperator，以防我想跳过TaskGroup。它对我有用！

【问题讨论】：

您运行的是什么版本的 Airflow？不推荐使用 SubDag。你应该尽量避免它们。
@Elad 我正在使用 Airflow v2.0.0。我的 DAG 要求使用 subDags，这就是为什么我不能避免在我的情况下使用它们。
Subdags 将被弃用 github.com/apache/airflow/issues/12292 你应该使用任务组 airflow.apache.org/docs/apache-airflow/stable/…

【解决方案1】：

一个选项可以是使用分支运算符并将跳过（又名分支又名条件）逻辑移动到分支运算符。

查看以下链接 -

【讨论】：