Airflow Papermill 操作员：60 分钟后外部跳过的任务答案

【问题标题】：Airflow Papermill operator: task externally skipped after 60 minutesAirflow Papermill 操作员：60 分钟后外部跳过的任务
【发布时间】：2021-10-23 01:32:19
【问题描述】：

我在 Docker 容器中使用 Airflow。我使用多个 Jupyter 笔记本运行 DAG。每次 60 分钟后我都会出现以下错误：

[2021-08-22 09:15:15,650] {local_task_job.py:198} WARNING - State of this instance has been externally set to skipped. Terminating instance.
[2021-08-22 09:15:15,654] {process_utils.py:100} INFO - Sending Signals.SIGTERM to GPID 277
[2021-08-22 09:15:15,655] {taskinstance.py:1284} ERROR - Received SIGTERM. Terminating subprocesses.
[2021-08-22 09:15:18,284] {taskinstance.py:1501} ERROR - Task failed with exception

我尝试调整配置文件，但找不到删除 1 小时超时的好选择。任何帮助将不胜感激。

【问题讨论】：

标签： airflow papermill

【解决方案1】：

默认为无超时。当您的 DAG 定义 dagrun_timeout=timedelta(minutes=60) 并且执行时间超过 60 分钟时，活动任务将停止并记录消息“此实例的状态已在外部设置为已跳过”。

【讨论】：