【发布时间】:2018-11-20 05:58:33
【问题描述】:
Airflow 突然停止运行任务。下面都在运行
airflow scheduler
airflow webserver
airflow worker
webui消息
满足所有依赖项,但任务实例未运行。多数情况 在这种情况下,这只是意味着该任务可能很快就会被安排 除非: - 调度器宕机或负载过重
如果此任务实例没有很快启动,请联系您的 Airflow 管理员寻求帮助。
调度程序似乎处于循环状态,不断重复以下消息。 WebUI 显示任务处于排队状态。尝试重新启动调度程序,没有帮助。
[2018-11-17 22:03:45,809] {{jobs.py:1607}} DEBUG - Starting Loop...
[2018-11-17 22:03:45,809] {{jobs.py:1627}} INFO - Heartbeating the process manager
[2018-11-17 22:03:45,810] {{jobs.py:1662}} INFO - Heartbeating the executor
[2018-11-17 22:03:45,810] {{base_executor.py:103}} DEBUG - 124 running task instances
[2018-11-17 22:03:45,810] {{base_executor.py:104}} DEBUG - 0 in queue
[2018-11-17 22:03:45,810] {{base_executor.py:105}} DEBUG - 76 open slots
[2018-11-17 22:03:45,810] {{base_executor.py:132}} DEBUG - Calling the <class 'airflow.executors.celery_executor.CeleryExecutor'> sync method
[2018-11-17 22:03:45,810] {{celery_executor.py:80}} DEBUG - Inquiring about 124 celery task(s)
气流设置:
apache-airflow[celery, redis, all]==1.9.0
我也检查了这些帖子,但没有帮助我:
Airflow 1.9.0 is queuing but not launching tasks
Airflow tasks get stuck at "queued" status and never gets running
【问题讨论】:
-
您是否尝试过清除 dag 运行?
-
是的。我还尝试重新运行最后一次成功的 dag 运行也没有帮助。