Celery - 内存泄漏（即使在工人完成任务后内存也不会释放）

Question

我在 celery 服务器上运行了一个原子事务，它消耗大量内存，但任务完成后内存没有释放。

对我有用的解决方案是在 N 个任务后杀死芹菜工人，即使用 - CELERYD_MAX_TASKS_PER_CHILD。

这个问题还有其他解决方案吗？ CELERYD_MAX_TASKS_PER_CHILD，如果 celery 每天接收大约 10,000 个任务

，应该设置什么合适的数字

Answer 1

芹菜上有一个open issue，可能值得一试。

您的解决方法非常公平，是我们在自己的业务中使用的方法，而且工作简单。值得注意的是，celery 使用工作池，这意味着它不会在每个任务之后杀死工作进程并将它们重用于下一个任务，这显然意味着进程级别的资源可能会随着时间的推移而泄漏。

您可以测量进程启动和终止所需的时间。例如，如果您的任务需要 20 秒，进程启动和最终终止需要 2 秒，并且您可以容忍 5% 的开销，那么您可以将 CELERYD_MAX_TASKS_PER_CHILD 参数设置为 2。这取决于开销的数量并泄漏您可以忍受。