如何记录每个请求的 Django 应用程序的内存使用情况

Question

您知道记录 django 应用程序每个请​​求的内存使用情况的有效方法吗？

我有一个 apache/mod_wsgi/django 堆栈，它通常运行良好，但有时一个进程最终会占用大量内存。服务器最终内存不足，交换了很多，并且服务速度大大降低。

这种情况很难解决，因为我不知道该行为应该归咎于哪个请求，我无法重现它。

我想在生产环境中部署一些东西，以最小的开销记录进程在每次请求之前和之后的内存使用情况。

---

在我开始重新发明轮子之前，我的 djangoists 社区是否知道任何现有的解决方案来解决这个问题？ 建议、中间件、sn-p 或 apache 日志配置值得赞赏。

（我认为）我不需要的是：

• 一组开发阶段分析/调试工具，我已经知道一些，如果我知道要分析/调试什么，我会使用它们，它看起来有点太多了，永远监控生产中运行的服务。最重要的是，这些 tol 通常显示的是代码碎片的 mem 使用报告，这将有助于查明错误的请求。
• 关于如何优化 django 应用程序的内存使用的一般建议，读起来总是很好，但这里的想法是“如何有效地跟踪需要优化的请求”。

我最接近的搜索结果：

• Django / WSGI - How to profile partial request? My profiling tools are per-request but app runs out of memory before then
• Django memory usage going up with every request
• Average php memory usage per request?

Answer 1

用于跟踪内存使用情况并立即生成可用结果的 Django 中间件需要挂钩进程请求和进程响应。换句话说，查看请求的开始和结束之间的差异，如果超过某个阈值，则记录警告。

一个完整的中间件示例是：

import os
import psutil
import sys

THRESHOLD = 2*1024*1024

class MemoryUsageMiddleware(object):

    def process_request(self, request):
        request._mem = psutil.Process(os.getpid()).memory_info()

   def process_response(self, request, response):
        mem = psutil.Process(os.getpid()).memory_info()
        diff = mem.rss - request._mem.rss
        if diff > THRESHOLD:
            print >> sys.stderr, 'MEMORY USAGE %r' % ((diff, request.path),)
        return response

这需要安装“psutil”模块来进行内存计算。

是蛮力，可能导致多线程系统中的误报。由于延迟加载，您还会看到它在加载内容时针对新进程的前几个请求触发。

Answer 2

这可能无法完全涵盖您的问题，但我建议尝试使用 nginx+uwsgi 而不是 apache2+mod_wsgi。在我的测试中，它变得更加稳定（mod_wsgi 在某些时候完全阻塞）、速度更快并且使用的内存更少（它可能完全解决了您的所有问题）。

关于跟踪内存使用情况，可以创建一个简单的中间件：

class SaveMemoryUsageMiddleware(object):
    def process_response(self, request, response):
        # track memory usage here and append to file or db
        return response

并将其添加到您的中间件中。

对于内存跟踪代码，我建议查看： Total memory used by Python process?

但是，如果您可以避免在生产环境中执行此操作，可能会更好。仅用于开发和测试以追踪真正的问题。