同一 dag 中具有不同计划的 Airflow 任务

Question

我想在同一个 DAG 中让一些任务每天运行，而另一些任务每周运行，是否可以或应该为不同的计划任务创建不同的 DAG？

我看到了使用ShortCircuitOperator 或AirflowSkipException 的解决方案，我想知道这是否是一种好的做法或绕过Airflow 限制的一种方法。最后我的问题是：使用ShortCircuitOperator 或AirflowSkipException 是可以接受的还是使用新的DAG 更好？

Answer 1

这是this 的副本。

简而言之，配置特定任务的start_date 参数，引入依赖关系，或者使用池来按运行时/优先级隔离任务。