【问题标题】:How to re-run all failed tasks in Apache Airflow?如何在 Apache Airflow 中重新运行所有失败的任务?
【发布时间】:2018-12-27 13:32:46
【问题描述】:

我有一个包含数万个任务的 Apache Airflow DAG,在运行之后,说其中有几个失败了。

我修复了导致某些任务失败的错误,我想仅重新运行失败的任务。 这篇 SO 帖子建议使用 GUI 来“清除”失败的任务:

How to restart a failed task on Airflow

如果您有少量失败的任务,这种方法很有效。

我想知道我们是否可以绕过 GUI 并通过命令行来解决问题,例如:

airflow_clear_failed_tasks dag_id execution_data 

【问题讨论】:

    标签: airflow


    【解决方案1】:

    使用以下命令只清除失败的任务:

    airflow clear [-s START_DATE] [-e END_DATE] --only_failed dag_id
    

    文档:https://airflow.readthedocs.io/en/stable/cli.html#clear

    【讨论】:

      【解决方案2】:

      仅清除失败任务的命令已更新。现在是(截至 2021 年 3 月的 Airflow 2.0):

      airflow tasks clear [-s START_DATE] [-e END_DATE] --only-failed dag_id
      

      【讨论】:

      • 将该选项用作 --only_failed 或 -f
      • 根据the docs,使用该命令时的日期格式为YYYY-MM-DD
      猜你喜欢
      • 2017-06-22
      • 2019-08-12
      • 2017-09-02
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多