【问题标题】:Airflow not only runs a DAG Run for the most current instance of the DAG interval series but also the one before it when I set catchup=FalseAirflow 不仅为 DAG 间隔系列的最新实例运行 DAG Run,而且在我设置 catchup=False 时也运行它之前的实例
【发布时间】:2019-11-20 15:57:43
【问题描述】:

当我尝试配置我的气流 DAG 时,我希望我的气流 dag 在我启动气流调度程序时只运行一次。但是它运行 dag 的最新实例和第二个最新实例,尽管气流文档说:

报价 如果您的 DAG 被编写为处理自己的追赶(IE 不限于时间间隔,而是例如“现在”。),那么您将需要关闭追赶(在 DAG 本身上使用 dag.catchup = False)或者默认情况下在配置文件级别使用 catchup_by_default = False。这样做的目的是指示调度程序仅为 DAG 间隔系列的最新实例创建 DAG Run。

我的 dag 配置如下:

default_args = {
    'owner':'airflow',
    'depends_on_past': False,
    'start_date':datetime(2019, 1, 1),
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(hours=4)
 }

dag = DAG('name', catchup=False, default_args=default_args, schedule_interval=timedelta(days=2))

【问题讨论】:

    标签: python airflow


    【解决方案1】:

    听起来很像这个已知的错误:https://issues.apache.org/jira/browse/AIRFLOW-1156

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-05-06
      • 1970-01-01
      • 2018-08-20
      • 2021-12-27
      • 2017-08-21
      • 2022-01-18
      相关资源
      最近更新 更多