【发布时间】:2023-02-19 19:05:47
【问题描述】:
我有一个以 FileSensor 开始的 Airflow 管道,它可能会执行多次重试(这是有道理的,因为生产过程有时需要更长的时间,有时甚至会失败)。
但是,当我重新启动管道时,因为它以追赶模式运行,file_sensor 中的重试变得虚假:如果文件前一天不存在,它就不会再出现。
因此我的问题是:是否有可能使 DAG 运行的行为取决于它当前是在追赶运行还是在定期运行?
如果这是一个重复的问题,我深表歉意:这似乎是一个相当基本的问题,但我找不到以前的问题或文档。
【问题讨论】:
-
好吧,纯属偶然,几个月后,我发现有一个操作员可以检查相关内容:
airflow.operators.latest_only_operator。还没有想出整个解决方案,但它肯定是可行的。