Sidekiq 完成工作后没有释放内存

Question

我在使用 Sidekiq 时遇到了一些奇怪的问题，我在使用 Sidekiq 的后台运行了一些繁重的工作。但即使在 Sidekiq 完成工作后，它仍然保留着内存。可能是什么原因？ 版本

ruby : 2.2.4
rails : 4.2.7
sidekiq : 3.5.4

我也附上了内存日志。 即使我已经检查了link，但它无济于事。我什至还手动启动了 GC。

Answer 1

我的理解是 Ruby MRI 不会将内存释放回操作系统。如果您的 Sidekiq 作业消耗大量内存，即使这些对象被垃圾回收，内存也只会被释放回 Ruby，而不是返回给操作系统。您应该尝试找到一种方法来使您的 Sidekiq 作业消耗更少的内存，并假设您的工作人员最终将分配您最消耗内存的作业所需的最大内存量。

Answer 2

您好，我们也遇到了同样的问题。我对此进行了很多研究。吉姆说right。处理资源的是 Ruby MRI。实际上，您的 sidekiq 工作人员很重，或者他们正在执行繁重的操作，我猜它也在进行更多的对象分配。他们需要更多的资源 ruby​​ 从操作系统中获取资源，然后将其用于在 sidekiq 中执行的操作。它不会向操作系统释放内存。它使用相同的内存空间并重用它来为其他对象提供资源。

要避免此问题，您必须牢记的是优化您的代码。

• 如果您要执行多个繁重的操作并且可以将它们分开，则为此使用单独的工作人员。
• 您可以批量运行 fetch 查询以减少服务器上的负载。
• 在必要时使用数组操作。

您也可以在作业结束后运行 GC.start 强制运行垃圾收集器以释放内存。

当你杀死一个 sidekiq 进程时，它会将内存释放给操作系统，因为进程正在由 ruby​​ 运行并且你杀死了它，所以最终 ruby​​ 会释放内存给操作系统。

我希望这会有所帮助。 您必须优化您的代码，这与mperham 给出的建议相同。