为什么气流调度程序不运行我的 DAG？答案

【问题标题】：Why airflow scheduler does not run my DAG?为什么气流调度程序不运行我的 DAG？
【发布时间】：2021-10-14 17:02:47
【问题描述】：

我无法通过调度程序运行气流 DAG。我已经在论坛上检查了多个线程，但我仍然无法找到根本原因。当然 DAG 滑块设置为 ON。您可以在下面找到 DAG 信息：

with DAG(
        dag_id='blablabla',
        default_args=default_args,
        description='run my DAG',
        schedule_interval='45 0 * * *',
        start_date=datetime(2021, 8, 5, 0, 45),
        max_active_runs=1,
        tags=['bla']) as dag:
    t1 = BashOperator(
        task_id='blabla',
        bash_command="python3 /home/data/blabla.py",
        dag=dag
    )

我检查了似乎没问题的 cron 表达式，start_date 是硬编码的，因此它排除了时间设置为“现在”的问题。当我检查 DAG 运行历史记录时，所有其他已调度的 DAG 都已列出，只有这个对于调度程序似乎是不可见的。

手动触发 DAG 可以正常工作，python 代码可以正常工作，只有调度程序有问题。

做了什么：

检查 CRON 表达式
检查 start_date 是否为硬编码
尝试将 start_date 更改为几个月前的日期
尝试了许多 schedule_interval 值（但总是每天）
在此处检查了多个线程，但除了上述项目符号之外没有发现任何其他内容

【问题讨论】：

标签： python cron airflow scheduler airflow-scheduler

【解决方案1】：

看起来不错。想到的一件事是一天一次的计划间隔，这有时会让人感到困惑，因为第一次运行将在间隔结束时开始，即第二天。由于您将 start_date 设置为超过一天前，这应该不是问题。

要找到解决方案，我们需要更多信息：

能否发布 default_args 或完整的 DAG？
有关您的 Airflow 设置的任何详细信息（版本、执行程序等）
能否检查调度程序日志中的任何信息/错误？具体来说，$AIRFLOW_HOME/logs/dag_processor_manager.log 和 $AIRFLOW_HOME/logs/scheduler/[date]/[yourdagfile.py].log

【讨论】：

您好 Bas，感谢您的意见！以下要求的答案：1）default_args = {'owner'：'me'，'depends_on_past'：False，'email'：['me@email.com']，'email_on_failure'：False，'email_on_retry'：False，' on_failure_callback': task_fail_slack_alert, 'retries': 3, 'retry_delay': timedelta(minutes=2), } 2) 版本: v2.0.0, executor = LocalExecutor, parallelism = 32, dag_concurrency = 16, task_runner = StandardTaskRunner scheduler details: num_runs = -1, catchup_by_default = True // 我会检查你提到的日志并尽快分享反馈

【解决方案2】：

通过其他帖子中的以下步骤解决了问题：

尝试创建一个新的 python 文件，将您的 DAG 代码复制到那里，重命名它以使该文件是唯一的，然后再次测试。可能是气流调度程序因之前 DAG 运行的元数据与当前调度之间的不一致而感到困惑。

【讨论】：