由于执行日期和开始日期，无法运行 Airflow 任务

Question

每当我尝试运行 DAG 时，它都会处于运行状态，但任务不会运行。我已将开始日期设置为 datetime.today() 并将我的计划间隔设置为“* * * * *”。手动触发运行会启动 dag，但任务不会运行，原因是：

执行日期是 2017-09-13T00:00:00，但这早于任务的开始日期 2017-09-13T16:20:30.363268。

我尝试了各种计划间隔组合（例如每天的特定时间）以及等待触发 dag 和手动触发。似乎没有任何效果。

Answer 1

尝试重新启动调度程序，这对我有用。

Answer 2

google 发给我，我遇到了和你一样的问题。我被定义为今天的start_date

'start_date': datetime.today()

当我使用较旧的日期（例如 7 天前）时，问题已解决

seven_days_ago = datetime.combine(datetime.today() - timedelta(7),
                                  datetime.min.time())
args = {
    'owner': 'airflow',
    'start_date': seven_days_ago,
    'depends_on_past': False,
}

我找到了这个解释Airflow Docs

Answer 3

首先start_date是一个任务属性；但一般情况下，它是在default_args 中设置的，和dag 属性一样使用。

消息很清楚，如果一个任务的execution_date在该任务的start_date之前，则不能调度。可以将start_date设置得更小：

import datetime

default_args = {
    'start_date': datetime.datetime(2019, 1, 1)  # hard coded date
}

或

import airflow

default_args = {
    'start_date': airflow.utils.dates.days_ago(7)  # 7 days ago
}

来自Airflow Documentation

请注意，如果您在一天的 schedule_interval 上运行 DAG，则标记为 2016-01-01 的运行将在 2016-01-01T23:59 之后不久触发。换言之，作业实例会在其涵盖的时间段结束后启动。

让我们重复一遍调度程序在开始日期之后一个 schedule_interval 的时间段结束时运行您的作业。

因此，当您安排 dag 时，任何 dag_run 的 execution_date 都将小于其开始时间。每天会有24小时的差异。

我们可以说开始时间 = execution_date + schedule_interval
（开始时间不是start_date，只是dag run的开始时间）