【问题标题】:Celery Beat runs duplicate tasksCelery Beat 运行重复任务
【发布时间】:2019-02-16 19:53:35
【问题描述】:

我有一个 celery beat 任务,即运行其他抓取任务。 当这些任务未被处理时,队列开始增长。

我知道 celery 使用后端数据库,但只有:id,task_id,status,result,date_done,traceback。

我的想法是从 celery beat 切换到自己重新安排任务,但是有些任务没有关联或者可能会丢失,所以 celery beat 在这些情况下很有用。

第二个想法是添加我的日志,比如我的表,我可以在其中保存任务 ID 和任务上下文,通过它们我将能够找出任务是否已经存在。

你有更好的方法吗?谢谢

【问题讨论】:

    标签: celery celerybeat


    【解决方案1】:

    celery 任务可以是 delayedexpires 参数: http://docs.celeryproject.org/en/latest/userguide/calling.html#expiration

    【讨论】:

      最近更新 更多