python中每个函数的内存使用情况答案

【问题标题】：Memory usage per function in pythonpython中每个函数的内存使用情况
【发布时间】：2026-02-08 07:00:01
【问题描述】：

import time
import logging
from functools import reduce

logging.basicConfig(filename='debug.log', level=logging.DEBUG)



def read_large_file(file_object):
    """Uses a generator to read a large file lazily"""

    while True:
        data = file_object.readline()
        if not data:
            break
        yield data


def process_file_1(file_path):
    """Opens a large file and reads it in"""

    try:
        with open(file_path) as fp:
            for line in read_large_file(fp):
                logging.debug(line)
                pass

    except(IOError, OSError):
        print('Error Opening or Processing file')


    def process_file_2(file_path):
        """Opens a large file and reads it in"""

        try:
            with open(path) as file_handler:
                while True:
                    logging.debug(next(file_handler))
        except (IOError, OSError):
            print("Error opening / processing file")
        except StopIteration:
            pass


    if __name__ == "__main__":
        path = "TB_data_dictionary_2016-04-15.csv"

        l1 = []
        for i in range(1,10):
            start = time.clock()
            process_file_1(path)
            end = time.clock()
            diff = (end - start)
            l1.append(diff)

        avg = reduce(lambda x, y: x + y, l1) / len(l1)
        print('processing time (with generators) {}'.format(avg))


        l2 = []
        for i in range(1,10):
            start = time.clock()
            process_file_2(path)
            end = time.clock()
            diff = (end - start)
            l2.append(diff)

        avg = reduce(lambda x, y: x + y, l2) / len(l2)
        print('processing time (with iterators) {}'.format(avg))

程序的输出：

C:\Python34\python.exe C:/pypen/data_structures/generators/generators1.py
processing time (with generators) 0.028033358176432314
processing time (with iterators) 0.02699498330810426

在上面的程序中，我试图测量使用iterators 和使用generators 打开读取大文件所需的时间。该文件可用here。使用迭代器读取文件的时间远低于使用生成器的时间。

我假设如果我要测量函数 process_file_1 和 process_file_2 使用的内存量，那么生成器将胜过迭代器。有没有办法测量python中每个函数的内存使用情况。

【问题讨论】：

在 2 次测试之前执行一次您只需丢弃的读取，以确保操作系统对文件的任何缓存都适用于两次运行。
@tdelaney - 我已经稍微更新了程序

标签： python memory profiling generator

【解决方案1】：

首先，使用代码的单次迭代来衡量其性能并不是一个好主意。由于系统性能出现任何故障（例如：后台进程、cpu 进行垃圾收集等），您的结果可能会有所不同。您应该检查它是否有相同代码的多次迭代。

要衡量代码的性能，请使用timeit 模块：

此模块提供了一种简单的方法来对少量 Python 代码进行计时。它既有命令行界面也有可调用界面。它避免了一些用于测量执行时间的常见陷阱。

要检查代码的内存消耗，请使用Memory Profiler：

这是一个python模块，用于监控进程的内存消耗以及对python程序的内存消耗进行逐行分析。

【讨论】：