在 RESTful 路由中触发 Celery 任务答案

【问题标题】：Trigger Celery task in a RESTful Route在 RESTful 路由中触发 Celery 任务
【发布时间】：2019-04-01 21:40:49
【问题描述】：

我想为我的Celery 任务设置路由并监控它们。

这是我在flask 应用程序中运行的代码localhost:5000

background.py

任务：

@celery.task(queue='cache')
def cache_user_tracks_with_features():
    return {'status': 'Task completed!'}

路线：

@task_bp.route('/filter', methods=['GET', 'POST'])
def cache_user_with_features():
    # task
    task = cache_user_tracks_with_features.apply_async()
    while not task.ready():
      sleep(2)

    response_object = {
        'status': 'fail',
        'message': 'User does not exist'
    }
    try:
        user = User.query.filter_by(id=1)).first()
        if not user:
            return jsonify(response_object), 404
        else:
            response_object = {
                'status': 'success',
                'data': {
                    'task_id': task.id,
                    'username': user.username,
                    'email': user.email,
                    'active': user.active
                }
            }
            return jsonify(response_object), 200
    except ValueError:
        return jsonify(response_object), 404

触发尝试

我正在尝试在终端使用CURL 对其进行测试，如下所示：

$ curl -X POST http://localhost:5001/filter -H "Content-Type: application/json"

但要么我得到curl: (52) Empty reply from server，要么它只是挂起。如果我从函数中删除task 和curl POST，我会得到：

{
  "data": {
    "active": true, 
    "email": "me@mac.com", 
    "username": "me"
  }, 
  "status": "success"
}

Docker日志给我：

nginx_1    | 172.21.0.1 - - [03/Apr/2019:22:26:41 +0000] "GET /manifest.json HTTP/1.1" 304 0 "http://localhost/filter" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36" "-"

web-db_1   | 2019-04-01 19:52:52.415 UTC [1] LOG:  background worker "logical replication launcher" (PID 25) exited with exit code 1

celery_1   | worker: Warm shutdown (MainProcess)
celery_1   |  
celery_1   |  -------------- celery@fb24d4bd2089 v4.2.1 (windowlicker)
celery_1   | ---- **** ----- 
celery_1   | --- * ***  * -- Linux-4.9.125-linuxkit-x86_64-with 2019-04-06 21:34:38
celery_1   | -- * - **** --- 
celery_1   | - ** ---------- [config]
celery_1   | - ** ---------- .> app:         project:0x7f9923d8a9e8
celery_1   | - ** ---------- .> transport:   redis://redis:6379/0
celery_1   | - ** ---------- .> results:     redis://redis:6379/0
celery_1   | - *** --- * --- .> concurrency: 2 (prefork)
celery_1   | -- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
celery_1   | --- ***** ----- 
celery_1   |  -------------- [queues]
celery_1   |                 .> cache            exchange=cache(direct) key=cache
celery_1   |                 
celery_1   | 
celery_1   | [tasks]
celery_1   |   . project.api.routes.background.cache_user_tracks_with_analysis
celery_1   |   . project.api.routes.background.cache_user_tracks_with_features

这就是我在docker-compose 文件中配置Celery 和Flower（Celery 监控）的方式：

docker-compose-dev.yml

version: '3.6'

services:

  celery:
    image: dev3_web
    restart: always
    volumes:
      - ./services/web:/usr/src/app
      - ./services/web/logs:/usr/src/app/logs

    command: celery worker -A celery_worker.celery --loglevel=INFO --logfile=logs/celery.log -Q cache
    environment:
      - CELERY_BROKER=redis://redis:6379/0
      - CELERY_RESULT_BACKEND=redis://redis:6379/0
    depends_on:
      - web
      - redis
    links:
      - redis:redis
      - web-db

  redis:
    image: redis:5.0.3-alpine
    restart: always
    expose:
      - '6379'
    ports:
      - '6379:6379'

  monitor:
    image: dev3_web
    ports:
      - 5555:5555
    command:  flower -A celery_worker.celery --port=5555 --broker=redis://redis:6379/0
    depends_on:
      - web
      - redis

web/logs/celery_log

[2019-04-02 02:51:07,338: INFO/MainProcess] Connected to redis://redis:6379/0
[2019-04-02 02:51:07,375: INFO/MainProcess] mingle: searching for neighbors
[2019-04-02 02:51:08,491: INFO/MainProcess] mingle: all alone
[2019-04-02 02:51:08,582: INFO/MainProcess] celery@59ed7459ac14 ready.
[2019-04-02 02:51:08,661: INFO/MainProcess] Events of group {task} enabled by remote.

Flower 在仪表板中显示具有活动状态的工作人员：

Celery 实例化

# services/web/project/__init__.py

import os
from flask import Flask  
from flask_sqlalchemy import SQLAlchemy
from celery import Celery

# instantiate the db
db = SQLAlchemy()
# background processes instance
celery = Celery(__name__, broker='redis://redis:6379/0') // <------- instant.

def create_app(script_info=None):
    from .api import routes

    # instantiate the app
    app = Flask(__name__)

    # set config
    app_settings = os.getenv('APP_SETTINGS')
    app.config.from_object(app_settings)

    # set up extensions
    db.init_app(app) 
    # register blueprints
    routes.init_app(app)
    #models.init_app(app)
    celery.conf.update(app.config)

    # shell context for flask cli
    @app.shell_context_processor
    def ctx():
        return {'app': app, 'db': db}

    return app

config.py

class DevelopmentConfig(BaseConfig):
    """Development configuration"""
    DEBUG_TB_ENABLED = True 
    DEBUG = True
    BCRYPT_LOG_ROUNDS = 4 
    #set key
    SECRET_KEY = os.environ.get('SECRET_KEY')
    #sqlalchemy
    SQLALCHEMY_DATABASE_URI = os.environ.get('DATABASE_URL')
    SEVER_NAME = 'http://127.0.0.1:8080'
    # celery broker
    REDIS_HOST = "0.0.0.0"
    REDIS_PORT = 6379
    BROKER_URL = os.environ.get('REDIS_URL', "redis://{host}:{port}/0".format(
                                                                    host=REDIS_HOST, 
                                                                    port=str(REDIS_PORT)))
    INSTALLED_APPS = ['routes']
    # celery config
    CELERYD_CONCURRENCY = 10
    CELERY_BROKER_URL = BROKER_URL
    CELERY_RESULT_BACKEND = 'redis://redis:6379/0'
    CELERY_IMPORTS = ('project.api.routes.background',)

问题

我错过了什么？如何触发这个 Celery 任务并对其进行监控？

【问题讨论】：

如何实例化 celery app 对象？
请参考编辑，用celery实例化和config.py。
您的评论为我指明了正确的方向，我解决了这个问题。但是我不能让我的代表回答我自己的问题。因此，如果您希望给出类似的答案，请成为我的客人，您将获得赏金。之后我会删除我的答案。

标签： curl flask docker-compose celery flower

【解决方案1】：

问题出在config.py:

REDIS_HOST = "0.0.0.0"
REDIS_PORT = 6379
BROKER_URL = os.environ.get('REDIS_URL', "redis://{host}:{port}/0".format(
                                                                host=REDIS_HOST, 
                                                                port=str(REDIS_PORT)))
INSTALLED_APPS = ['routes']
# celery config
CELERYD_CONCURRENCY = 10
CELERY_BROKER_URL = BROKER_URL #<-------- THIS WAS OVERRIDING

覆盖docker-compose 环境：

environment:
      - CELERY_BROKER=redis://redis:6379/0  #<------- THIS WAS BEING OVERRIDEN
      - CELERY_RESULT_BACKEND=redis://redis:6379/0

只需将config.py 和docker environment 中的CELERY_BROKER_URL 设置为redis://redis:6379/0，即可解决问题：任务现在由worker 接，进程由flower 监控。

【讨论】：

好收获。 :) 是的，这样的问题时不时地到处蔓延……

【解决方案2】：

我不知道到底出了什么问题（看起来没问题）...有几种方法（就像 Celery 的任何东西 - 有很多方法可以实现某事）来实现您想要做的事情：

1) 使用 apply_async() 并轮询完成的执行。比如：

res = cache_user_tracks_with_features.apply_async("""parameters here""")
while not res.ready():
  sleep(2)
# business logic

2) 使用 apply_async() 链接到任务完成后要执行的任务。

res = cache_user_tracks_with_features.apply_async(
        """parameters here""", 
        link=task_to_run_when_finished)

Celery 也有 link_error 参数，所以如果发生错误，你可以给它一个函数来执行。

3) 使用 Celery 工作流程。用 cache_user_tracks_with_features 和任务创建一个链来完成其余的工作。

或者它可能是完全不同的东西给你带来麻烦......

【讨论】：

我尝试了解决方案 1)，具有简化的虚拟任务（请参阅编辑），它不适用于 curl POST。它只是挂起。如果我从response_object 中删除task = cache_user_tracks_with_features.apply_async()a 和'task_id': task.id，它将返回对象。所以任务还是有问题。
@dejanlekic .delay 不会在后台进行轮询，它只是调用apply_async (docs.celeryproject.org/en/latest/userguide/calling.html#example) 的一种更方便的方式。您可能会将delay 与Task.get 混淆
你是绝对正确的。我确实以某种方式将它与 .get() 混淆了！感谢您指出这一点。