回填/清除旧 DAG 时 dagrun_timeout 是否会干扰？答案

【问题标题】：Does dagrun_timeout interfere when backfilling / clearing old DAGs?回填/清除旧 DAG 时 dagrun_timeout 是否会干扰？
【发布时间】：2019-06-14 16:11:02
【问题描述】：

我有一个如下所示的 DAG，dagrun_timeout 设置为 4 小时。当我转到 UI 并清除从 start_date 到当前的所有任务时，所有 DAG 都设置为运行状态。

4 小时后，任何尚未将自身标记为成功的 DAG 将被标记为失败，即使它们尚未真正启动。我想知道这是否是预期的行为。

如果我想以这种方式重新运行 DAG，是否应该删除 dagrun_timeout 并在任务级别设置超时？或者，如果我想在没有dagrun_timeout 干扰的情况下重新运行所有 DAG，我应该使用 airflow backfill 吗？

理想情况下，我希望能够使用 UI，因为其他团队成员会想要重新运行 DAG。


default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2019, 5, 1),
    'email': ['lol@example.com'],
    'email_on_failure': True,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=1),
}


dag = DAG(
    dag_id='example_dag',
    default_args=default_args,
    max_active_runs=8,
    schedule_interval='15 * * * *',
    dagrun_timeout=timedelta(minutes=60*4),
)

【问题讨论】：

标签： airflow airflow-scheduler

【解决方案1】：

我认为这是预期的行为，但只是一个误导性的参数名称。之前已经在邮件列表中讨论过，见https://lists.apache.org/thread.html/7bda30f518bedbaaa763ba73a5e3bbe386cb0d090834c819f81c65ec@%3Cdev.airflow.apache.org%3E。

将超时转移到任务级别是一个公平的选择，只是理解它会有所不同，因为您可能希望确定每个任务的合理超时。如果在普通（非回填）场景中 DAG 运行时间超过 4 小时时提醒您很重要，那么我会在所有任务上添加 4 小时 SLA。当您清除回填任务时，它会立即触发 SLA 未命中，但至少它们应该全部同时发生并且不会使您的运行失败。

【讨论】：

【解决方案2】：

我遇到了同样的问题。只需删除 dagrun_timeout 参数即可。重新运行任务将正常运行。

【讨论】：