【问题标题】:How to properly configure Celery logging functionality with Django?如何使用 Django 正确配置 Celery 日志记录功能?
【发布时间】:2020-07-15 01:31:29
【问题描述】:

我使用 Django 和 Celery 来安排任务,但我的记录器有问题,因为它不能正确传播。正如您在下面的代码中看到的那样,我已经配置了 Python logging 模块和 get_task_logger Celery 模块。

import logging
from celery import Celery
from celery.utils.log import get_task_logger

# Configure logging
logging.basicConfig(filename='example.log',level=logging.DEBUG)

# Create Celery application and Celery logger
app = Celery('capital')
logger = get_task_logger(__name__)


@app.task()
def candle_updated(d, f):

    logging.warning('This is a log')
    logger.info('This is another log')
    return d+f

我使用django-celery-beat 扩展从 Django 管理员设置定期任务。该模块将计划存储在 Django 数据库中,并提供一个方便的管理界面来在运行时管理周期性任务。

按照in the documentation 的建议,我以这种方式启动工作程序和调度程序:

$ celery -A capital beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler
celery beat v4.4.0 (cliffs) is starting.
__    -    ... __   -        _
LocalTime -> 2020-04-02 22:33:32
Configuration ->
    . broker -> redis://localhost:6379//
    . loader -> celery.loaders.app.AppLoader
    . scheduler -> django_celery_beat.schedulers.DatabaseScheduler

    . logfile -> [stderr]@%INFO
    . maxinterval -> 5.00 seconds (5s)
[2020-04-02 22:33:32,630: INFO/MainProcess] beat: Starting...
[2020-04-02 22:33:32,631: INFO/MainProcess] Writing entries...
[2020-04-02 22:33:32,710: INFO/MainProcess] Scheduler: Sending due task Candles update (marketsdata.tasks.candle_updated)
[2020-04-02 22:33:32,729: INFO/MainProcess] Writing entries...
[2020-04-02 22:33:38,726: INFO/MainProcess] Scheduler: Sending due task Candles update (marketsdata.tasks.candle_updated)
[2020-04-02 22:33:44,751: INFO/MainProcess] Scheduler: Sending due task Candles update (marketsdata.tasks.candle_updated)

一切似乎都运行良好。控制台每 6 秒输出一次(周期性任务的频率),所以看起来任务是在后台执行的,但我无法检查它。我遇到的问题是文件example.log是空的,可能是什么原因?

【问题讨论】:

    标签: python django celery


    【解决方案1】:

    您是否也启动了工作节点? beat 只是调度器,你也要运行一个worker

    celery -A capital worker -l info
    

    【讨论】: