ubuntu crontab 芹菜节拍答案

【问题标题】：ubuntu crontab celery beatubuntu crontab 芹菜节拍
【发布时间】：2020-01-23 10:34:16
【问题描述】：

我有几个通过 beat 执行的 celery 任务。在开发中，我使用了一个命令来设置它，例如：

celery worker -A my_tasks -n XXXXX@%h -Q for_mytasks -c 1 -E -l INFO -B -s ./config/celerybeat-schedule --pidfile ./config/celerybeat.pid

在进入生产阶段时，我将其插入到激活我的 venv 的脚本中，设置 PYTHONPATH，删除旧的节拍文件，cd 到正确的目录，然后运行 celery。这绝对没问题。但是，在生产中，我想将工作人员与节拍调度程序分开，例如：

celery worker -A my_tasks -n XXXXX@%h -Q for_mytasks -c 1 -E -l INFO -f ./logs/celeryworker.log
celery beat -A my_tasks -s ./config/celerybeat-schedule --pidfile ./config/celerybeat.pid -l INFO -f ./logs/celerybeat.log

现在，当放入相关的 bash 脚本时，这一切都可以正常工作。但是，我需要这些在服务器启动时运行。我遇到了几个问题：

1) 在 crontab -e @reboot my_script 中不起作用。我必须插入一个延迟以允许rabbitmq 完全启动，即@reboot sleep 60 && my_script。现在这对我来说似乎有点“混乱”，但我可以忍受。

2) celery worker 需要几秒钟才能完成，然后celery beat 才能正常运行。我尝试了各种 cron 指令来完成在工人成功执行后运行节拍但无法让节拍运行。我目前在 crontab 中的解决方案是这样的：

@reboot sleep 60 && my_script_worker
@reboot sleep 120 && my_script_beat

所以基本上，ubuntu 启动，等待 60 秒并运行 celery worker，然后再等待 60 秒，然后再运行 celery beat。这很好用，但对我来说似乎更“混乱”。在理想情况下，我想在 rabbitmq 准备好运行 worker 时标记，然后在 worker 成功执行时标记，以便我可以运行 beat。

我的问题是：有没有人遇到过这个问题，如果有，他们是否有更优雅的方式来启动 celery worker 并在服务器重启时击败？

编辑：2019 年 9 月 24 日感谢 DejanLekic 和 Greenev

我花了几个小时从 cron 转换为 systemd。是的，我完全同意这是一个更强大的解决方案。我的 celery worker 和 beat 现在由 systemd 在重启时作为服务启动。

对于尝试这个的人，我有一个提示，但 celery 文档中没有提到。 template beat 命令将在您的工作目录中创建一个名为celerybeat-schedule 的“celery beat 数据库”文件。如果你重新启动你的 beat 服务，这个文件将导致生成虚假的 celery 任务，这些任务似乎不符合你的实际 celery 时间表。解决方法是每次beat服务启动时删除这个文件。如果存在 pid 文件，我也会删除它。我通过向节拍服务添加 2 ExecStartPre 和 -s 选项来做到这一点：

ExecStartPre=/bin/sh -c 'rm -f ${CELERYBEAT_DB_FILE}'
ExecStartPre=/bin/sh -c 'rm -f ${CELERYBEAT_PID_FILE}'
ExecStart=/bin/sh -c '${CELERY_BIN} beat  \
  -A ${CELERY_APP} --pidfile=${CELERYBEAT_PID_FILE} \
  -s ${CELERYBEAT_DB_FILE} \
  --logfile=${CELERYBEAT_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL}'

谢谢大家。

【问题讨论】：

标签： linux cron celery

【解决方案1】：

我们使用 systemd 来守护 celery worker，因此 worker 和 beat 可以作为单独的服务运行，并配置为在服务器重启时启动这些服务 enabled

【讨论】：

【解决方案2】：

您真正想要的是将 Celery beat 进程作为 systemd 或 SysV 服务运行。它在 Celery 文档的 Daemonization 部分中有详细描述。事实上，工作进程也是如此。

为什么？ - 与您的解决方案不同，该解决方案涉及带有 @reboot 行的 crontab，例如 systemd 可以检查服务的运行状况并在需要时重新启动它。您的 Linux 机器上的所有 Linux 服务都以这种方式启动，因为它是为这个特定目的而设计的。

【讨论】：