将 cProfile 结果保存到可读的外部文件答案

【问题标题】：saving cProfile results to readable external file将 cProfile 结果保存到可读的外部文件
【发布时间】：2019-01-03 07:21:44
【问题描述】：

我正在使用cProfile 尝试分析我的代码：

pr = cProfile.Profile()
pr.enable()
my_func()   # the code I want to profile
pr.disable()
pr.print_stats()

但是，结果太长，无法在 Spyder 终端中完整显示（看不到运行时间最长的函数调用...）。我还尝试使用

保存结果

 cProfile.run('my_func()','profile_results')

但输出文件不是人类可读的格式（尝试使用和不使用.txt 后缀）。

所以我的问题是如何将分析结果保存到人类可读的外部文件中（例如以.txt 格式并正确显示所有单词）？

【问题讨论】：

基本上 cProfile 输出是一个二进制文件。为什么不能使用dump_stats + pstats.Stats？
@DanilaGanchar 你的意思是把结果打印到终端吗？我已经尝试过了，但是日志太长了，通常最重要的部分（例如，如果我使用 'cumtime' 对它们进行排序，则需要最长时间的函数调用）位于顶部并且未显示。另外，我想保存结果，以便比较不同版本的代码。
Python stats: how do I write it to a (human readable) file的可能重复

标签： python python-3.x text profiling cprofile

【解决方案1】：

已更新。您可以使用io.StringIO() 获取分析器的输出并将其保存到文件中。这是一个例子：

import cProfile
import pstats
import io


def my_func():
    result = []
    for i in range(10000):
        result.append(i)

    return result

pr = cProfile.Profile()
pr.enable()

my_result = my_func()

pr.disable()
s = io.StringIO()
ps = pstats.Stats(pr, stream=s).sort_stats('tottime')
ps.print_stats()

with open('test.txt', 'w+') as f:
    f.write(s.getvalue())

运行我们的脚本并打开test.txt。你会看到可读的结果：

   10002 function calls in 0.003 seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.002    0.002    0.003    0.003 /path_to_script.py:26(my_func)
    10000    0.001    0.000    0.001    0.000 {method 'append' of 'list' objects}
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

我也可以推荐使用dump_stats + pstats.Stats。这是一个如何使用它的示例。文件结构：

# test_ex.py - just a small web app
import cProfile
import json
from functools import wraps
from flask import Flask

from example.mod1 import func1
from example.mod2 import func2

app = Flask(__name__)

# profiling decorator
def profiling():

    def _profiling(f):
        @wraps(f)
        def __profiling(*rgs, **kwargs):
            pr = cProfile.Profile()
            pr.enable()

            result = f(*rgs, **kwargs)

            pr.disable()
            # save stats into file
            pr.dump_stats('profile_dump')

            return result
        return __profiling
    return _profiling

# demonstration route with profiler
@app.route('/test')
@profiling()
def test():
    counter = func1()
    dict_data = func2()
    result = dict()

    for key, val in dict_data.items():
        result[key] = val + counter

    return json.dumps(result)


if __name__ == '__main__':
    app.run(debug=True, port=8083)

example 包 - 让我们假设这是某种应用程序逻辑。

# example.mod1
def func1():
    counter = 0

    for i in range(100000):
        counter += i

    return counter

# example.mod2
def func2():
    res = dict()

    for i in range(300000):
        res['key_' + str(i)] = i

    return res

现在让我们运行服务器（python3 test_ex.py）并打开http://localhost:8083/test。几秒钟后你会看到很长的 json。之后，您将在项目文件夹中看到 profile_dump 文件。现在在项目文件夹中运行 python 实时解释器并使用 pstats 打印我们的转储：

import pstats
p = pstats.Stats('profile_dump')
# skip strip_dirs() if you want to see full path's
p.strip_dirs().print_stats()

您还可以轻松排序结果：

p.strip_dirs().sort_stats('tottime').print_stats()
p.strip_dirs().sort_stats('cumulative').print_stats()
p.strip_dirs().sort_stats().print_stats('mod1')

希望这会有所帮助。

【讨论】：

哦，太好了，不知道 stringio obj .getvalue() 可以像那样复制到 .txt 。谢谢
@thomas.mac 很高兴为您提供帮助 ;)

【解决方案2】：

在上一个答案的基础上，您可以将所有内容转储到 .csv 文件中，以便在您最喜欢的电子表格应用程序中进行排序和使用。

import pstats,StringIO

# print stats to a string
result=StringIO.StringIO()
pstats.Stats(filename,stream=result).print_stats()
result=result.getvalue()

# chop the string into a csv-like buffer
result='ncalls'+result.split('ncalls')[-1]
result='\n'.join([','.join(line.rstrip().split(None,6)) for line in result.split('\n')])

# save it to disk
f=open(filename.rsplit('.')[0]+'.csv','w')
f.write(result)
f.close()

【讨论】：

【解决方案3】：

你并不真正需要 StringIO，因为文件可以作为流。

import pstats

with open("profilingStatsAsText.txt", "w") as f:
    ps = pstats.Stats("profilingResults.cprof", stream=f)
    ps.sort_stats('cumulative')
    ps.print_stats()

【讨论】：

【解决方案4】：

您可以使用dump_stats。在 Python 3.8 中：

with cProfile.Profile() as pr:
    my_func()  

pr.dump_stats('/path/to/filename.prof')

【讨论】：

您可以使用snakeviz 之类的工具，指向.prof 文件以获得一些漂亮的图表

【解决方案5】：

您可以运行探查器，将输出保存到文件中，就像您做的那样：

import cProfile

cProfile.run('my_func()', 'profile_results')

然后使用类pstats.Stats (https://docs.python.org/3/library/profile.html#the-stats-class) 格式化该结果：

import pstats

file = open('formatted_profile.txt', 'w')
profile = pstats.Stats('.\profile_results', stream=file)
profile.sort_stats('cumulative') # Sorts the result according to the supplied criteria
profile.print_stats(15) # Prints the first 15 lines of the sorted report
file.close()

【讨论】：