【问题标题】:Airflow 1.9.0 is queuing but tasks are not runningAirflow 1.9.0 正在排队,但任务未运行
【发布时间】:2018-11-20 05:58:33
【问题描述】:

Airflow 突然停止运行任务。下面都在运行 airflow scheduler airflow webserver airflow worker

webui消息

满足所有依赖项,但任务实例未运行。多数情况 在这种情况下,这只是意味着该任务可能很快就会被安排 除非: - 调度器宕机或负载过重

如果此任务实例没有很快启动,请联系您的 Airflow 管理员寻求帮助。

调度程序似乎处于循环状态,不断重复以下消息。 WebUI 显示任务处于排队状态。尝试重新启动调度程序,没有帮助。

[2018-11-17 22:03:45,809] {{jobs.py:1607}} DEBUG - Starting Loop...
[2018-11-17 22:03:45,809] {{jobs.py:1627}} INFO - Heartbeating the process manager
[2018-11-17 22:03:45,810] {{jobs.py:1662}} INFO - Heartbeating the executor
[2018-11-17 22:03:45,810] {{base_executor.py:103}} DEBUG - 124 running task instances
[2018-11-17 22:03:45,810] {{base_executor.py:104}} DEBUG - 0 in queue
[2018-11-17 22:03:45,810] {{base_executor.py:105}} DEBUG - 76 open slots
[2018-11-17 22:03:45,810] {{base_executor.py:132}} DEBUG - Calling the <class 'airflow.executors.celery_executor.CeleryExecutor'> sync method
[2018-11-17 22:03:45,810] {{celery_executor.py:80}} DEBUG - Inquiring about 124 celery task(s)

气流设置: apache-airflow[celery, redis, all]==1.9.0

我也检查了这些帖子,但没有帮助我:

Airflow 1.9.0 is queuing but not launching tasks

Airflow tasks get stuck at "queued" status and never gets running

【问题讨论】:

  • 您是否尝试过清除 dag 运行?
  • 是的。我还尝试重新运行最后一次成功的 dag 运行也没有帮助。

标签: airflow airflow-scheduler


【解决方案1】:

问题解决了。 这是在 2018 年 11 月 15 日或之后创建构建时出现的问题 结果apache-airflow[celery, redis, all]==1.9.0 采用最新版本的redis-py 3.0.1 不适用于芹菜4.2.1。 解决方法是使用redis-py 2.10.6 redis==2.10.6 apache-airflow[celery, all]==1.9.0

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-09-17
    • 2022-10-19
    • 1970-01-01
    • 2021-10-15
    • 1970-01-01
    • 2020-06-21
    • 1970-01-01
    • 2013-02-08
    相关资源
    最近更新 更多