【问题标题】:Airflow scheduler not pick up tasks, task waiting forever气流调度程序不接任务,任务永远等待
【发布时间】:2019-04-24 15:31:32
【问题描述】:

我遇到了一个问题,由于某种原因,我在标签中的任务从未被工人接走。 当我查看任务详情时:

满足所有依赖项,但任务实例未运行。多数情况 在这种情况下,这只是意味着该任务可能很快就会被安排 除非: - 调度器宕机或负载过重

如果此任务实例没有很快启动,请联系您的 Airflow 管理员寻求帮助。

我检查了调度程序,日志中没有错误,也重新启动了几次。

我还检查了气流网络服务器日志,只注意到这一点:

22/11/2018 12:10:39[2018-11-22 01:10:39,747] {{cli.py:644}} 调试 - [5 / 5]杀死1名工人22/11/2018 12:10:39[2018-11-22 01:10:39 +0000] [43] [INFO] 处理信号:ttou 22/11/2018 12:10:39[2018-11-22 01:10:39 +0000] [348] [INFO] 工人退出(pid:348)

不知道会发生什么,之​​前运行良好。

Airflow 1.9.0 版本,从不更改版本,只玩一些配置:min_file_process_intervaldag_dir_list_interval(但遇到此问题时我将其恢复为默认值)

【问题讨论】:

    标签: airflow airflow-scheduler


    【解决方案1】:

    我确实注意到,当我使用一些气流配置并重建我们的 docker 气流图像时,会发生这种情况,然后我将其恢复为原来可以工作的版本。然后问题就解决了。

    我还注意到,当我使用新建的图像时,我的 celery workers 发生了一个错误(但并不总是被捕获):

    不可恢复的错误:AttributeError("'float' object has no attribute 'items'",)

    所以发现它与最新的redis版本相关(Celery会使用redis),你可以找到more details

    【讨论】:

      猜你喜欢
      • 2015-02-02
      • 1970-01-01
      • 1970-01-01
      • 2012-06-22
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-06-03
      • 1970-01-01
      相关资源
      最近更新 更多