【问题标题】:Finding out whether a DAG execution is a catchup or a regularly scheduled one确定 DAG 执行是追赶还是定期执行
【发布时间】:2023-02-19 19:05:47
【问题描述】:

我有一个以 FileSensor 开始的 Airflow 管道,它可能会执行多次重试(这是有道理的,因为生产过程有时需要更长的时间,有时甚至会失败)。

但是,当我重新启动管道时,因为它以追赶模式运行,file_sensor 中的重试变得虚假:如果文件前一天不存在,它就不会再出现。

因此我的问题是:是否有可能使 DAG 运行的行为取决于它当前是在追赶运行还是在定期运行?

如果这是一个重复的问题,我深表歉意:这似乎是一个相当基本的问题,但我找不到以前的问题或文档。

【问题讨论】:

  • 好吧,纯属偶然,几个月后,我发现有一个操作员可以检查相关内容:airflow.operators.latest_only_operator。还没有想出整个解决方案,但它肯定是可行的。

标签: airflow airflow-scheduler


【解决方案1】:

解决方案相当简单。

  • FileSensor 上游设置一个 LatestOnlyOperator

  • FileSensor 下游设置您可能需要的任何类型的运算符,并将其触发规则设置为 TriggerRule.ALL_DONE

skippedsuccess 状态都算作“完成”状态,而 error 状态则不算。因此,在“非追赶”运行中,FileSensor 需要成功让位于下游任务,而在追赶运行中,下游将在跳过 FileSensor 后立即开始。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2010-12-28
    • 1970-01-01
    • 2017-04-15
    • 1970-01-01
    • 2020-09-08
    • 2016-02-27
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多