如何配置芹菜从队列中同时执行任务

Question

在 8 核的环境下，celery 默认应该能够并行处理 8 个传入的任务。但有时当收到新任务时，celery 会将它们置于一个长时间运行的进程之后。

我使用默认配置，让一名工作人员从一个队列中消费。

celery -A proj worker --loglevel=INFO --concurrency=8

我的理解是错误的吗，一个并发 8 的 worker 可以并行处理一个队列中的 8 个任务？

如何设置 celery 以防止上述此类行为？

Answer 1

简单地说，并发是在一个工作器上运行的作业数量。预取是工作人员本身队列中的作业数量。您在这里有 2 个选项中的 1 个。第一个是将预取乘数设置为 1。这意味着在您的情况下，工作人员只会在其队列中保留 8 个额外的作业。我建议的第二种方法是创建 2 个不同的队列，一个用于短期运行的任务，另一个用于长期运行的任务。