【问题标题】:why TimedRotatingFileHandler does not delete old files?为什么 TimedRotatingFileHandler 不删除旧文件?
【发布时间】:2019-08-05 19:26:23
【问题描述】:

我正在使用TimedRotatingFileHandler 创建我的日志。 我希望每分钟创建一次日志文件,最多保留 2 个日志文件并删除较旧的日志文件。下面是示例代码:

import logging
import logging.handlers
import datetime

logger = logging.getLogger('MyLogger')
logger.setLevel(logging.DEBUG)

handler = logging.handlers.TimedRotatingFileHandler(
    "logs/{:%H-%M}.log".format(datetime.datetime.now()), 
    when="M", 
    backupCount=2)

logger.addHandler(handler)
logger.debug("PLEASE DELETE PREVIOUS FILES")

如果我多次运行此代码(间隔一分钟),我会在我的日志目录中获得多个文件,如下所示:

21-01.log
21-02.log
21-03.log
...

这对我来说似乎很奇怪,因为我设置了backupCount=2,这表示最多应该保存 2 个文件,并且应该删除旧文件。但是,当我在日志文件夹中使用 2 个或更多文件启动我的应用程序时,不会删除旧文件。

为什么 TimedRotatingFileHandler 不删除旧文件? 有什么办法可以设置 TimedRotatingFileHandler 来删除旧文件?

【问题讨论】:

  • 你解决过这个问题吗?我也有同样的问题
  • 它看起来像 logging/config.py 中的_install_handlers 只是没有读取backupCount 的该部分,因此构造函数总是为TimedRotatingFileHandler 获取backupCount=0。似乎是一个错误。问题是如何在不等待 master 分支出现问题的情况下解决这个问题
  • @eran 不确定它是否符合您的问题,但这里的问题是日志文件名。当您定义一个固定的日志名称时,会发生日志文件翻转。例如。 TimedRotatingFileHandler('my.log', when='s', backupCount=2) 将每秒轮换一次日志,因此您将获得 my.log 和最后两个备份(名称为 my.log.YYYY-MM-DD_HH-MM-SS 的文件)。 OP 的代码每次都会使用新名称创建日志文件,因此不会发生翻转并且永远不会达到备份计数。
  • @hoefling 你是对的。这不完全是我的问题,因为最初提出问题的人似乎是自己将日期添加到文件名中。当我提供赏金时,我有点错过了。然而,问题仍然存在。我发现.ini 文件的解析器中有一个错误。它不加载backupCount 参数,因此TimedRotatingFileHandler 的构造函数获取backupCount=0。当我通过手术绕过它时,旋转删除起作用了。我一直在寻找非原始包补丁解决方案。

标签: python python-3.x logging


【解决方案1】:

就像您在 TimedRotatingFileHandler 文档中看到的那样,您的日志文件名应该相同才能正确获取旋转系统。

在您的情况下,由于您自己附加了 dateTime 信息,因此日志文件名每次都不同,因此您可以观察结果。

所以,在你的源代码中,你只需要修改日志文件名:

handler = logging.handlers.TimedRotatingFileHandler(
    "logs/MyLog", 
    when="M", 
    backupCount=2)

如果你想挑战它,你可以把when改成“S”(秒),检查旋转是否OK。

例如,它会自动生成这样的文件:

> MyLog
> MyLog.2019-07-08_11-36-53
> MyLog.2019-07-08_11-36-58

如果您需要更多信息,请不要犹豫。

【讨论】:

  • 谢谢@Bsquare。我犯了一个错误,因为我的问题与原始问题不完全相同。我正在使用一个常量文件名。但是,我仍然发现.ini 文件的解析器中存在错误。它不加载backupCount 参数,因此TimedRotatingFileHandler 的构造函数得到backupCount=0。当我通过手术绕过它时,旋转删除起作用了。我一直在寻找非原始包补丁解决方案。既然你回答了最初的问题——我会奖励赏金——公平起见。如果有机会您也可以帮助解决我的问题,我将不胜感激。
  • 感谢您的公平竞争。如果可以的话,我当然会帮忙。现在,您的问题是在不破解模块的情况下不会处理 backupCount 参数,对吧?
  • 确实如此。这就是问题所在。调试它,只是没有从 ini 文件中读取参数 backupCount。除了打开原始项目的问题(这需要时间)之外,我也许可以扩展 TimedRotationFileHandler 来解决这个问题?不确定如何扩展新的处理程序并添加要从 ini 文件中读取的参数。
  • 好的。它似乎在我的本地测试环境中工作。你能提供你的确切源代码吗?
【解决方案2】:

您不能按照设计将TimedRotatingFileHandler 用于您的用例。处理程序希望“当前”日志文件名保持稳定,并将轮换定义为通过重命名将现有日志文件移动到备份。这些是保留或删除的备份。轮换备份是根据基本文件名加上带有轮换时间戳的后缀创建的。因此实现区分日志文件(存储在baseFilename)和轮换文件(在doRotate() method 中生成。请注意,只有在轮换发生时才会删除备份,因此在处理程序已用于at至少一个完整的间隔。

您希望基本文件名本身携带时间信息,因此改变日志文件名本身。在这种情况下没有“备份”,您只需在轮换时刻打开一个新文件。此外,您似乎正在运行 短暂 Python 代码,因此您希望立即删除旧文件,而不仅仅是在显式旋转时删除,这可能永远无法到达。

这就是TimedRotatingFileHandler 不会删除任何文件的原因,因为*它永远不会创建备份文件。没有备份意味着没有要删除的备份。为了旋转文件,处理程序的当前实现期望负责文件名生成,并且不能期望知道它本身不会生成的文件名。当您使用"M" 每分钟轮换频率对其进行配置时,它被配置为使用{baseFileame}.{now:%Y-%m-%d_%H_%M} 模式将文件轮换到备份文件,因此只会删除与该模式匹配的轮换备份文件。见documentation

系统将通过在文件名后附加扩展名来保存旧的日志文件。扩展是基于日期和时间的,使用 strftime 格式 %Y-%m-%d_%H-%M-%S 或其前导部分,具体取决于翻转间隔。

相反,您需要的是一个本身带有时间戳的基本文件名,并且在打开具有不同名称的新日志文件时,旧的日志文件(不是备份文件)将被删除。为此,您必须创建一个自定义处理程序。

幸运的是,类层次结构专为轻松定制而设计。你可以在这里继承BaseRotatingHandler,并提供你自己的删除逻辑:

import os
import time
from itertools import islice
from logging.handlers import BaseRotatingHandler, TimedRotatingFileHandler

# rotation intervals in seconds
_intervals = {
    "S": 1,
    "M": 60,
    "H": 60 * 60,
    "D": 60 * 60 * 24,
    "MIDNIGHT": 60 * 60 * 24,
    "W": 60 * 60 * 24 * 7,
}

class TimedPatternFileHandler(BaseRotatingHandler):
    """File handler that uses the current time in the log filename.

    The time is quantisized to a configured interval. See
    TimedRotatingFileHandler for the meaning of the when, interval, utc and
    atTime arguments.

    If backupCount is non-zero, then older filenames that match the base
    filename are deleted to only leave the backupCount most recent copies,
    whenever opening a new log file with a different name.

    """

    def __init__(
        self,
        filenamePattern,
        when="h",
        interval=1,
        backupCount=0,
        encoding=None,
        delay=False,
        utc=False,
        atTime=None,
    ):
        self.when = when.upper()
        self.backupCount = backupCount
        self.utc = utc
        self.atTime = atTime
        try:
            key = "W" if self.when.startswith("W") else self.when
            self.interval = _intervals[key]
        except KeyError:
            raise ValueError(
                f"Invalid rollover interval specified: {self.when}"
            ) from None
        if self.when.startswith("W"):
            if len(self.when) != 2:
                raise ValueError(
                    "You must specify a day for weekly rollover from 0 to 6 "
                    f"(0 is Monday): {self.when}"
                )
            if not "0" <= self.when[1] <= "6":
                raise ValueError(
                    f"Invalid day specified for weekly rollover: {self.when}"
                )
            self.dayOfWeek = int(self.when[1])

        self.interval = self.interval * interval
        self.pattern = os.path.abspath(os.fspath(filenamePattern))

        # determine best time to base our rollover times on
        # prefer the creation time of the most recently created log file.
        t = now = time.time()
        entry = next(self._matching_files(), None)
        if entry is not None:
            t = entry.stat().st_ctime
            while t + self.interval < now:
                t += self.interval

        self.rolloverAt = self.computeRollover(t)

        # delete older files on startup and not delaying
        if not delay and backupCount > 0:
            keep = backupCount
            if os.path.exists(self.baseFilename):
                keep += 1
                delete = islice(self._matching_files(), keep, None)
                for entry in delete:
                    os.remove(entry.path)

        # Will set self.baseFilename indirectly, and then may use
        # self.baseFilename to open. So by this point self.rolloverAt and
        # self.interval must be known.
        super().__init__(filenamePattern, "a", encoding, delay)

    @property
    def baseFilename(self):
        """Generate the 'current' filename to open"""
        # use the start of *this* interval, not the next
        t = self.rolloverAt - self.interval
        if self.utc:
            time_tuple = time.gmtime(t)
        else:
            time_tuple = time.localtime(t)
            dst = time.localtime(self.rolloverAt)[-1]
            if dst != time_tuple[-1] and self.interval > 3600:
                # DST switches between t and self.rolloverAt, adjust
                addend = 3600 if dst else -3600
                time_tuple = time.localtime(t + addend)
        return time.strftime(self.pattern, time_tuple)

    @baseFilename.setter
    def baseFilename(self, _):
        # assigned to by FileHandler, just ignore this as we use self.pattern
        # instead
        pass

    def _matching_files(self):
        """Generate DirEntry entries that match the filename pattern.

        The files are ordered by their last modification time, most recent
        files first.

        """
        matches = []
        pattern = self.pattern
        for entry in os.scandir(os.path.dirname(pattern)):
            if not entry.is_file():
                continue
            try:
                time.strptime(entry.path, pattern)
                matches.append(entry)
            except ValueError:
                continue
        matches.sort(key=lambda e: e.stat().st_mtime, reverse=True)
        return iter(matches)

    def doRollover(self):
        """Do a roll-over. This basically needs to open a new generated filename.
        """
        if self.stream:
            self.stream.close()
            self.stream = None

        if self.backupCount > 0:
            delete = islice(self._matching_files(), self.backupCount, None)
            for entry in delete:
                os.remove(entry.path)

        now = int(time.time())
        rollover = self.computeRollover(now)
        while rollover <= now:
            rollover += self.interval
        if not self.utc:
            # If DST changes and midnight or weekly rollover, adjust for this.
            if self.when == "MIDNIGHT" or self.when.startswith("W"):
                dst = time.localtime(now)[-1]
                if dst != time.localtime(rollover)[-1]:
                    rollover += 3600 if dst else -3600
        self.rolloverAt = rollover

        if not self.delay:
            self.stream = self._open()

    # borrow *some* TimedRotatingFileHandler methods
    computeRollover = TimedRotatingFileHandler.computeRollover
    shouldRollover = TimedRotatingFileHandler.shouldRollover

在日志文件名中使用time.strftime() placeholders,这些会为你填写:

handler = TimedPatternFileHandler("logs/%H-%M.log", when="M", backupCount=2)

请注意,这会在您创建实例时清理旧文件

【讨论】:

    【解决方案3】:

    正如其他人已经指出的那样,backupCount 只有在您始终使用相同的文件名登录到文件然后不时轮换时才有效。然后你会看到像@Bsquare这样的日志文件。 但是,就我而言,我需要每天轮换并让我的日志文件具有以下名称:2019-07-06.log2019-07-07.log2019-07-07.log、... 我发现使用TimedRotatingFileHandler的当前实现是不可能的

    所以我最终在FileHandler 之上创建了适合我需要的删除功能 这是一个使用 FileHandler 的 logger 类的简单示例,它会确保每次创建此类的实例时都会删除旧的日志文件:

    import os
    import datetime
    import logging
    import re
    import pathlib
    
    
    class Logger:
    
        # Maximum number of logs to store
        LOGS_COUNT = 3
    
        # Directory to log to
        LOGS_DIRECTORY = "logs"
    
        def __init__(self):
            # Make sure logs directory is created
            self.__create_directory(Logger.LOGS_DIRECTORY)
            # Clean old logs every time you create a logger
            self.__clean_old_logs()
            self.logger = logging.getLogger("Logger")
            # If condition will make sure logger handlers will be initialize only once when this object is created
            if not self.logger.handlers:
                self.logger.setLevel(logging.INFO)
                formatter = logging.Formatter("%(asctime)s - %(levelname)s - %(message)s")
                file_handler = logging.FileHandler("logs/{:%Y-%m-%d}.log".format(datetime.datetime.now()))
                file_handler.setFormatter(formatter)
                self.logger.addHandler(file_handler)
    
        def log_info(self, message):
            self.logger.info(message)
    
        def log_error(self, message):
            self.logger.error(message)
    
        def __clean_old_logs(self):
            for name in self.__get_old_logs():
                path = os.path.join(Logger.LOGS_DIRECTORY, name)
                self.__delete_file(path)
    
        def __get_old_logs(self):
            logs = [name for name in self.__get_file_names(Logger.LOGS_DIRECTORY)
                if re.match("([12]\d{3}-(0[1-9]|1[0-2])-(0[1-9]|[12]\d|3[01]))\.log", name)]
            logs.sort(reverse=True)
            return logs[Logger.LOGS_COUNT:]
    
        def __get_file_names(self, path):
            return [item.name for item in pathlib.Path(path).glob("*") if item.is_file()]
    
        def __delete_file(self, path):
            os.remove(path)
    
        def __create_directory(self, directory):
            if not os.path.exists(directory):
                os.makedirs(directory)
    

    然后你会像这样使用它:

    logger = Logger()
    logger.log_info("This is a log message")
    

    【讨论】:

    • 为什么将逻辑放在 logger 中而不是处理程序的子类中?让记录器负责意味着您不能将它与任何仅使用标准记录基础设施的库一起使用。
    • @MartijnPieters 这是我创建的满足我需求的简单代码,而不是通用解决方案。随意改进它。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-06-06
    • 1970-01-01
    • 2021-12-01
    • 2019-02-02
    • 2016-01-15
    • 1970-01-01
    • 2016-03-02
    相关资源
    最近更新 更多