django celery 守护进程不起作用

Question

这是我的 celery 应用配置：

from __future__ import absolute_import

from celery import Celery

import os

from django.conf import settings

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'tshirtmafia.settings')

app = Celery('tshirtmafia')
app.conf.update(
    CELERY_RESULT_BACKEND='djcelery.backends.database:DatabaseBackend',
)

app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

settings.py：

INSTALLED_APPS：

'kombu.transport.django',
'djcelery',

还有：

BROKER_URL = 'django://'

这是我的任务：

@shared_task
def test():
    send_mail('nesamone bus', 'Files have been successfully generated.', 'marijus.merkevicius@gmail.com',
    ['marijus.merkevicius@gmail.com'], fail_silently=False)

现在，当我在本地运行 python manage.py celeryd 然后在本地从 shell 运行 test.delay() 时，它可以工作了。

现在我正在尝试部署我的应用程序。当使用完全相同的配置时，我尝试打开 python manage.py celeryd 并在其他窗口中打开 shell 并运行测试任务，它不起作用。

我也尝试过这样设置后台守护进程：

/etc/default/celeryd 配置：

# Name of nodes to start, here we have a single node
CELERYD_NODES="w1"
# or we could have three nodes:
#CELERYD_NODES="w1 w2 w3"

# Where to chdir at start. (CATMAID Django project dir.)
CELERYD_CHDIR="/home/tshirtnation/"

# Python interpreter from environment. (in CATMAID Django dir)
ENV_PYTHON="/usr/bin/python"

# How to call "manage.py celeryd_multi"
CELERYD_MULTI="$ENV_PYTHON $CELERYD_CHDIR/manage.py celeryd_multi"

# How to call "manage.py celeryctl"
CELERYCTL="$ENV_PYTHON $CELERYD_CHDIR/manage.py celeryctl"

# Extra arguments to celeryd
CELERYD_OPTS="--time-limit=300 --concurrency=1"

# Name of the celery config module.
CELERY_CONFIG_MODULE="celeryconfig"

# %n will be replaced with the nodename.
CELERYD_LOG_FILE="/var/log/celery/%n.log"
CELERYD_PID_FILE="/var/run/celery/%n.pid"

# Workers should run as an unprivileged user.
CELERYD_USER="celery"
CELERYD_GROUP="celery"

# Name of the projects settings module.
export DJANGO_SETTINGS_MODULE="settings"

我使用默认的 celery /etc/init.d/celeryd 脚本。

所以基本上看起来 celeryd 启动但不起作用。不知道如何调试它以及可能出了什么问题。

如果你还需要什么，请告诉我

Answer 1

对于我来说，Celery 在 Django 强大的系统中变成了一个非常任性的孩子。 用于了解问题原因的初始数据太少。 Celery 守护进程失败的最常见原因是文件系统权限。 但要澄清我尝试的原因：

1. django 项目的用户所有者从命令行启动 celery：

   celery -A proj worker -l 信息

如果一切正常，请继续

1. 以 root 用户身份以口头模式启动 celery，就像守护进程一样：

   sudo sh -x /etc/init.d/celeryd 启动

这将显示守护程序脚本的大部分问题 - 使用的 celery 用户和组，但不是全部，不幸的是：权限失败是不可见的。

我的小评论。 通常 Celery 由自己的 celery 用户启动，django 项目由另一个用户启动。经过长期与 celery 和系统的斗争，我拒绝了 celery 用户，并拥有 django 项目用户的 celery 进程。

还有..别忘了开始一次

update-rc.d celerybeat defaults
update-rc.d celeryd defaults

这是用于 Ubuntu 守护进程启动的，当然。

祝你好运