【问题标题】:Are airflow monthly dags delayed by a day or a month?气流月度延迟是一天还是一个月?
【发布时间】:2020-11-02 15:24:56
【问题描述】:

我正在尝试设置在每个月的第二天运行的气流 dag。根据我的研究,计划间隔应设置为:

schedule_interval = '0 0 2 * *'

现在让我担心的是airflow documentation 中讨论的内容。根据那里讨论的内容:

请注意,如果您在一天的 schedule_interval 上运行 DAG,则运行 标记为 2016-01-01 将在 2016-01-01T23:59 之后不久触发。在 换句话说,作业实例在其涵盖的时间段结束后启动 结束了。

让我们重复一下调度程序运行你的作业一个 schedule_interval 在开始日期之后,在期间结束时。

这是否意味着对于每月的 dag,一切都会延迟一个月?例如2020-11-02 作业将在2020-12-01 2359 上运行?如果是,我怎样才能确保它准确地按预期运行?

【问题讨论】:

    标签: airflow airflow-scheduler


    【解决方案1】:

    您的解释是正确的,execution_date=2020-11-02 的 DAG Run 大约会在2020-12-01 23:59 上触发。但是,我认为您不必担心 DAG 会延迟什么的,它仍然有每月的计划,并且每个月都会运行。在运行运算符时,您更需要考虑此逻辑。

    如果您不想调整逻辑,无论出于何种原因,您也可以简单地使用 other variables

    {{ next_execution_date }} - 下一个执行日期。

    【讨论】:

      猜你喜欢
      • 2021-10-25
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-03-13
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多