推荐使用哪种 Python 内存分析器？ [关闭]答案

【问题标题】：Which Python memory profiler is recommended? [closed]推荐使用哪种 Python 内存分析器？ [关闭]
【发布时间】：2010-09-11 17:38:49
【问题描述】：

我想知道我的 Python 应用程序的内存使用情况，特别想知道哪些代码块/部分或对象占用了最多的内存。 Google 搜索显示商业广告是 Python Memory Validator（仅限 Windows）。

而开源的是PySizer 和Heapy。

我没有尝试过任何人，所以我想知道哪个是最好的考虑：

提供大部分细节。
我必须对我的代码做最少的更改或不做任何更改。

【问题讨论】：

为了找到泄漏源，我推荐 objgraph。
@MikeiLL 有类似问题的地方：Software Recommendations
这种情况经常发生，我们应该能够将一个问题迁移到另一个论坛。
一个提示：如果有人使用 gae 来检查内存使用情况 - 这是一个非常令人头疼的问题，因为这些工具没有输出任何内容或事件没有启动。如果你想测试一些小的东西，把你想测试的函数移动到单独的文件中，然后单独运行这个文件。
我推荐pympler

标签： python performance memory-management profiling

【解决方案1】：

我的模块memory_profiler 能够打印内存使用情况的逐行报告，并且可以在 Unix 和 Windows 上运行（最后一个需要 psutil）。输出不是很详细，但目的是让您大致了解代码在哪里消耗更多内存，而不是对分配的对象进行详尽的分析。

在使用@profile 装饰您的函数并使用-m memory_profiler 标志运行您的代码后，它将打印如下逐行报告：

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

【讨论】：

对于我的用例 - 一个简单的图像处理脚本，而不是一个复杂的系统，它恰好使一些光标处于打开状态 - 这是最好的解决方案。非常简单地插入并弄清楚发生了什么，将最少的垃圾添加到您的代码中。非常适合快速修复，也可能非常适合其他应用程序。
我发现 memory_profiler 非常简单易用。我想按行而不是按对象进行分析。感谢您的来信。
@FabianPedregosa memory_profiler 如何处理循环，它可以识别循环迭代次数吗？
它仅在尝试报告逐行数量并找到重复行时隐式识别循环。在这种情况下，它只需要所有迭代的最大值。
我尝试过memory_profiler，但认为这不是一个好的选择。它使程序执行速度非常慢（在我的情况下大约慢了 30 倍）。

【解决方案2】：

考虑objgraph 库（有关示例用例，请参阅this blog post）。

【讨论】：

objgraph 帮助我解决了我今天面临的内存泄漏问题。 objgraph.show_growth() 特别有用
我也发现 objgraph 真的很有用。您可以执行objgraph.by_type('dict') 之类的操作来了解所有这些意想不到的dict 对象的来源。

【解决方案3】：

guppy3 使用起来非常简单。在您的代码中的某个时刻，您必须编写以下内容：

from guppy import hpy
h = hpy()
print(h.heap())

这会给你一些像这样的输出：

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

您还可以找出引用对象的位置并获取相关统计信息，但不知何故，关于该对象的文档有点稀疏。

还有一个图形浏览器，用 Tk 编写。

对于 Python 2.x，请使用 Heapy。

【讨论】：

如果你使用的是 Python 2.7，你可能需要它的主干版本：sourceforge.net/tracker/…, pip install https://guppy-pe.svn.sourceforge.net/svnroot/guppy-pe/trunk/guppy
大量文档......不好。但我发现这篇博文对入门很有帮助：smira.ru/wp-content/uploads/2011/08/heapy.html
注意，heapy 不包括在 python 扩展中分配的内存。如果有人制定了一种机制来大量包含boost::python 对象，那么很高兴看到一些示例！
自 2014-07-06 起，guppy 不支持 Python 3。
有一个支持 Python 3 的 guppy 分支，称为 guppy3。

【解决方案4】：

也可以试试pytracemalloc project，它提供了每个 Python 行号的内存使用情况。

编辑 (2014/04)：它现在有一个 Qt GUI 来分析快照。

【讨论】：

tracemalloc 现在是 python 标准库的一部分。见docs.python.org/3/library/tracemalloc.html

【解决方案5】：

我推荐Dowser。它很容易设置，您需要对代码进行零更改。您可以通过简单的网络界面查看每种类型的对象计数、查看活动对象列表、查看活动对象引用。

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

你导入 memdebug，然后调用 memdebug.start。就是这样。

我还没有尝试过 PySizer 或 Heapy。我会感谢其他人的评论。

更新

以上代码用于CherryPy 2.X、CherryPy 3.X，server.quickstart 方法已被删除，engine.start 不采用blocking 标志。所以如果你使用CherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()

【讨论】：

但它只适用于cherrypy，如何与单脚本一起使用？
它不适用于 CherryPy。将 CherryPy 视为一个 GUI 工具包。
Dowser 有一个通用的 WSGI 端口，称为 Dozer，您也可以将其与其他 Web 服务器一起使用：pypi.python.org/pypi/Dozer
cherrypy 3.1 删除了cherrypy.server.quickstart()，所以只需使用cherrypy.engine.start()
这在 python 3 中不起作用。我得到一个明显的 StringIO 错误。

【解决方案6】：

我正在为 Python 开发一个名为 memprof 的内存分析器：

http://jmdana.github.io/memprof/

它允许您在执行修饰方法期间记录和绘制变量的内存使用情况。您只需使用以下命令导入库：

from memprof import memprof

并使用以下方法装饰您的方法：

@memprof

这是一个关于绘图的示例：

项目托管在 GitHub：

https://github.com/jmdana/memprof

【讨论】：

如何使用它？什么是 a、b、c？
@tommy.carstensen a、b 和 c 是变量的名称。您可以在github.com/jmdana/memprof 找到文档。如果您有任何问题，请随时在 github 中提交问题或发送电子邮件至文档中的邮件列表。

【解决方案7】：

Muppy 是（又一个）Python 的内存使用分析器。该工具集的重点是识别内存泄漏。

Muppy 试图帮助开发人员识别 Python 应用程序的内存泄漏。它可以在运行时跟踪内存使用情况并识别正在泄漏的对象。此外，还提供了一些工具，可以定位未释放对象的来源。

【讨论】：

【解决方案8】：

我发现meliae 比 Heapy 或 PySizer 更实用。如果你碰巧在运行一个 wsgi webapp，那么Dozer 是一个不错的 Dowser 中间件包装器

【讨论】：