【发布时间】:2021-10-09 21:11:34
【问题描述】:
我有一个 Airflow DAG,需要在一天中的某些时间运行,而无法使用 cron 表达式进行建模。时间是:09:20、17:10 和 23:59。有什么建议吗?当 schedule_interval=None 并且手动触发时,DAG 已经完全构建并运行没有问题。一直在寻找没有成功的日子。
【问题讨论】:
-
一个简单的解决方案是在你的 DAG 中放置一个
BranchPythonOperator上游并在那里评估条件,如果不满足,将你的结束任务设置为下一步。您可以检查execution_date是否与您要查找的时间相匹配,还可以检查它是否是外部触发的。在执行上下文中使用DagRun对象来访问这个值。
标签: cron airflow scheduler directed-acyclic-graphs