结合 Python 跟踪信息和日志记录

Question

我正在尝试编写一个高度模块化的 Python 日志记录系统（使用日志记录模块）并在日志消息中包含来自跟踪模块的信息。

例如，我希望能够写出这样一行代码：

my_logger.log_message(MyLogFilter, "this is a message")

并让它包含“log_message”调用的位置，而不是实际的记录器调用本身。

除了跟踪信息来自logging.debug() 调用而不是my_logger.log_message() 调用之外，我几乎可以使用以下代码。

class MyLogFilter(logging.Filter):

    def __init__(self):
        self.extra = {"error_code": 999}
        self.level = "debug"

    def filter(self, record):
        for key in self.extra.keys():
           setattr(record, key, self.extra[key])

class myLogger(object):

    def __init__(self):
        fid = logging.FileHandler("test.log")
        formatter = logging.Formatter('%(pathname)s:%(lineno)i, %(error_code)%I, %(message)s' 
        fid.setFormatter(formatter)

        self.my_logger = logging.getLogger(name="test")
        self.my_logger.setLevel(logging.DEBUG)
        self.my_logger.addHandler(fid)

    def log_message(self, lfilter, message):
        xfilter = lfilter()
        self.my_logger.addFilter(xfilter)
        log_funct = getattr(self.logger, xfilter.level)
        log_funct(message)

if __name__ == "__main__":

    logger = myLogger()
    logger.log_message(MyLogFilter, "debugging")

为了进行简单的logging.debug 调用，要经历很多麻烦，但实际上，我将列出许多不同版本的MyLogFilter 在不同的日志级别，其中包含不同的“ error_code" 属性，我正在尝试使log_message() 调用尽可能短而甜，因为它会重复很多次。

我将不胜感激有关如何做我想做的事情的任何信息，或者我是否完全走错了路，如果是这种情况，我应该做什么。

如果可能的话，我想坚持使用“logging”和“trace”的内部 python 模块，而不是使用任何外部解决方案。

Answer 1

或者如果我完全走错了路，如果是这种情况，我应该怎么做。

我强烈建议您将日志记录视为已解决的问题，避免重新发明轮子。

如果您需要的不仅仅是标准库的 logging 模块所提供的，它可能类似于 structlog (pip install structlog)

Structlog 会给你：

• 数据绑定
• 云原生结构化日志记录
• 管道
• ...等等

它将处理大多数本地和云用例。

以下是一种常见的配置，它将彩色日志输出到 .log 文件、标准输出，并且可以进一步扩展以记录到例如 AWS CloudWatch。

注意有一个包含的处理器：StackInfoRenderer——这将包括堆栈信息到所有日志调用，stack_info 的值为“真实”（这也在 stdlib 的日志记录中）。如果您只需要异常的堆栈信息，那么您需要为您的日志调用执行 exc_info=True 之类的操作。

ma​​in.py

from structlog import get_logger
from logging_config import configure_local_logging

configure_local_logging()
logger = get_logger()

logger.info("Some random info")
logger.debug("Debugging info with stack", stack_info=True)

try:
   assert 'foo'=='bar'
catch Exception as e:
   logger.error("Error info with an exc", exc_info=e)

logging_config.py

import logging
import structlog

def configure_local_logging(filename=__name__):
    """Provides a structlog colorized console and file renderer for logging in eg ING tickets"""

    timestamper = structlog.processors.TimeStamper(fmt="%Y-%m-%d %H:%M:%S")
    pre_chain = [
        structlog.stdlib.add_log_level,
        timestamper,
    ]

    logging.config.dictConfig({
            "version": 1,
            "disable_existing_loggers": False,
            "formatters": {
                "plain": {
                    "()": structlog.stdlib.ProcessorFormatter,
                    "processor": structlog.dev.ConsoleRenderer(colors=False),
                    "foreign_pre_chain": pre_chain,
                },
                "colored": {
                    "()": structlog.stdlib.ProcessorFormatter,
                    "processor": structlog.dev.ConsoleRenderer(colors=True),
                    "foreign_pre_chain": pre_chain,
                },
            },
            "handlers": {
                "default": {
                    "level": "DEBUG",
                    "class": "logging.StreamHandler",
                    "formatter": "colored",
                },
                "file": {
                    "level": "DEBUG",
                    "class": "logging.handlers.WatchedFileHandler",
                    "filename": filename + ".log",
                    "formatter": "plain",
                },
            },
            "loggers": {
                "": {
                    "handlers": ["default", "file"],
                    "level": "DEBUG",
                    "propagate": True,
                },
            }
    })

    structlog.configure_once(
        processors=[
            structlog.stdlib.add_log_level,
            structlog.stdlib.PositionalArgumentsFormatter(),
            timestamper,
            structlog.processors.StackInfoRenderer(),
            structlog.processors.format_exc_info,
            structlog.stdlib.ProcessorFormatter.wrap_for_formatter,
        ],

        context_class=dict,
        logger_factory=structlog.stdlib.LoggerFactory(),
        wrapper_class=structlog.stdlib.BoundLogger,
        cache_logger_on_first_use=True,
    )

Structlog 可以做的远不止这些。我建议你检查一下。

Answer 2

事实证明，难题的缺失部分是使用“回溯”模块而不是“跟踪”模块。解析回溯的输出以提取“.log_message()”调用的源文件名和行号很简单。

如果我的日志记录需求变得更加复杂，那么我肯定会研究 struct_log。感谢您提供这些信息，因为我以前从未听说过。