Python：仅在脚本运行结束时刷新日志记录

Question

目前我用于记录一个自定义日志系统，其工作方式如下：
我有一个类似于以下内容的日志class：

class Log:
    def __init__(self):
        self.script = ""
        self.datetime = datetime.datetime.now().replace(second=0, microsecond=0)
        self.mssg = ""
        self.mssg_detail = ""
        self.err = ""
        self.err_detail = ""

我创建了一个函数装饰器，它在函数调用上执行try/except，并相应地在Log 对象上向.mssg 或.err 添加一条消息。

def logging(fun):
    @functools.wraps(fun)
    def inner(self, *args):
        try:
            f = fun(self, *args)
            self.logger.mssg += fun.__name__ +" :ok, "                
            return f               
        except Exception as e:
            self.logger.err += fun.__name__ +": error: "+str(e.args) 
    return inner 

所以通常一个脚本是一个由多个按顺序运行的方法组成的类。 因此我运行这些方法（如上面提到的装饰），最后我将 Log 对象上传到 mysql 数据库中。

这很好用。但现在我想修改这些项目，使它们与 python 的“官方”日志模块集成。

我不喜欢该模块的地方在于，无法将消息“保存”到 1 个日志对象上，以便仅在运行结束时上传/保存到日志。相反，每个日志调用都会将消息写入/发送到文件等 - 这有时会产生很多性能问题。我可以使用handlers.MemoryHandler，但它似乎仍然不像我原来的系统那样运行：据说它会定期收集消息并将它们刷新到另一个处理程序 - 这不是我想要的：我想收集内存中的消息并根据请求使用显式函数刷新它们。

有人有什么建议吗？

Answer 1

这是我的想法。使用处理程序捕获 StringIO 中的日志。然后，您可以随时获取 StringIO。由于讨论线程中可能存在一些混淆 - StringIO 是字符串的“类文件”接口，因此从未涉及实际文件。

import logging
import io
def initialize_logging(log_level, log_name='default_logname'):
    logger = logging.getLogger(log_name)
    logger.setLevel(log_level)

    log_stream = io.StringIO()

    if not logger.handlers:
        ch = logging.StreamHandler(log_stream)
        ch.setLevel(log_level)
        ch.setFormatter(logging.Formatter(
            '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
        ))
        logger.addHandler(ch)
        logger.propagate = 0
    return logger, log_stream

然后是这样的：

>>> logger, log_stream = initialize_logging(logging.INFO, "logname")
>>> logger.warning("Hello World!")

当你想要日志信息时：

>>> log_stream.getvalue()
'2017-05-16 16:35:03,501 - logname - WARNING - Hello World!\n'

Answer 2

在程序启动时（在主程序中），您可以：

• 实例化您的自定义记录器 => 全局变量/单例。
• 在程序结束时注册一个函数，该函数将刷新您的记录器。
• 运行您的装饰函数。

要注册一个函数，你可以使用atexit.register函数。请参阅文档中的页面Exit handlers。

编辑

上面的思路可以简化。

要延迟记录，您可以使用标准的MemoryHandler 处理程序，在页面logging.handlers — Logging handlers 中进行了描述

看看这个 GitHub 项目：https://github.com/tantale/python-ini-cfg-demo

并用这个替换INI文件：

[formatters]
keys=default

[formatter_default]
format=%(asctime)s:%(levelname)s:%(message)s
class=logging.Formatter

[handlers]
keys=console, alternate

[handler_console]
class=logging.handlers.MemoryHandler
formatter=default
args=(1024, INFO)
target=alternate

[handler_alternate]
class=logging.StreamHandler
formatter=default
args=()

[loggers]
keys=root

[logger_root]
level=DEBUG
formatter=default
handlers=console

要记录到数据库表，只需将 alternate 处理程序替换为您自己的数据库处理程序即可。

有一些关于此的博客/SO 问题：

• 你可以看Logging Exceptions To Your SQLAlchemy Database创建一个SQLAlchemyHandler
• 如果您使用的是 DJango，请参阅 Store Django log to database。

EDIT2

注意：ORM 一般支持“急切加载”，例如SqlAlchemy