气流任务重试未完成

Question

我有一个生产环境，其中Airflow webserver/scheduler 在docker 实例中运行AWS。

我正在使用 AWS 蓝/绿部署来实现始终工作的服务。

当我通过AWS Codepipeline 进行新部署时，AWS B/G 在EC2 中引发一个新的docker 实例，然后删除旧的实例。完成此操作后，正在运行的任务将失败。

我知道这是由于scheduler 和webserver 之间的连接，但是尽管有retry=2 它只是失败并且没有完成重启。另一方面，当任务由于一些错误而失败时，它会重试。

我的 dags 参数是：

default_args = {
    'owner': 'I',
    'depends_on_past': False,
    'start_date': datetime(2020, 11, 1),
    'email': [' '],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 2,
    'retry_delay': timedelta(minutes=15),
    'on_failure_callback': slack_alert
}

Answer 1

我猜您的部署解决方案如下：

1. 在蓝色部署时停止调度程序以避免安排新任务
2. 等到所有任务/DAG 完成或终止任务
3. 继续部署绿色

您也可以使用execution_timeout，它也应该将一段时间后的任务标记为失败：

execution_timeout (datetime.timedelta) - 允许执行此任务实例的最长时间，如果超过它将引发并失败。