在 python 日志记录配置文件中使用程序变量

Question

我正在尝试使用以下命令启用我的 python 日志记录：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import logging
import logging.config
import os
test_filename = 'my_log_file.txt'
try:
    logging.config.fileConfig('loggingpy.conf', disable_existing_loggers=False)
except Exception as e:
    # try to set up a default logger
    logging.error("No loggingpy.conf to parse", exc_info=e)
    logging.basicConfig(level=logging.WARNING, format="%(asctime)-15s %(message)s")
test1_log = logging.getLogger("test1")
test1_log.critical("test1_log crit")
test1_log.error("test1_log error")
test1_log.warning("test1_log warning")
test1_log.info("test1_log info")
test1_log.debug("test1_log debug")

我想使用 loggingpy.conf 文件来控制日志记录，如下所示：

[loggers]
keys=root

[handlers]
keys=handRoot

[formatters]
keys=formRoot

[logger_root]
level=INFO
handlers=handRoot

[handler_handRoot]
class=FileHandler
level=INFO
formatter=formRoot
args=(test_filename,)

[formatter_formRoot]
format=%(asctime)s:%(name)s:%(process)d:%(lineno)d %(levelname)s %(message)s
datefmt=
class=logging.Formatter

在这里，我试图将日志记录路由到由本地“test_filename”命名的文件。当我运行它时，我得到：

ERROR:root:No loggingpy.conf to parse
Traceback (most recent call last):
  File "logging_test.py", line 8, in <module>
    logging.config.fileConfig('loggingpy.conf', disable_existing_loggers=False)
  File "/usr/lib/python2.7/logging/config.py", line 85, in fileConfig
    handlers = _install_handlers(cp, formatters)
  File "/usr/lib/python2.7/logging/config.py", line 162, in _install_handlers
    args = eval(args, vars(logging))
  File "<string>", line 1, in <module>
NameError: name 'test_filename' is not defined
CRITICAL:test1:test1_log crit
ERROR:test1:test1_log error
WARNING:test1:test1_log warning

阅读docs，似乎配置中的“args”值是在日志包命名空间的上下文中评估的，而不是在调用 fileConfig 时的上下文。是否有任何体面的方法可以尝试通过配置文件使日志记录以这种方式运行，以便我可以配置动态日志文件名（通常像“InputFile.log”），但仍然可以灵活地使用日志记录配置文件进行更改吗？

Answer 1

尽管这是一个老问题，但我认为这仍然具有相关性。上述解决方案的替代方法是使用logging.config.dictConfig(...) 并操作字典。

MWE：

log_config.yml

version: 1
disable_existing_loggers: false
formatters:
  default:
    format: "%(asctime)s:%(name)s:%(process)d:%(lineno)d %(levelname)s %(message)s"
handlers:
  console:
    class: logging.StreamHandler
    formatter: default
    stream: ext://sys.stdout
    level: DEBUG
  file:
    class: logging.FileHandler
    formatter: default
    filename: "{path}/service.log"
    level: DEBUG
root:
  level: DEBUG
  handlers:
  - file
  - console

example.py

import logging.config
import sys
import yaml

log_output_path = sys.argv[1]

log_config = yaml.load(open("log_config.yml"))
log_config["handlers"]["file"]["filename"] = log_config["handlers"]["file"]["filename"].format(path = log_output_path)
logging.config.dictConfig(log_config)

logging.debug("test")

可执行如下：

python example.py .

结果：

• 当前工作目录中的service.log 文件包含一行日志消息。
• 控制台输出一行日志消息。

两者都声明如下：
2016-06-06 20:56:56,450:root:12232:11 DEBUG test

Answer 2

您可以将文件名放在日志命名空间中：

logging.test_filename = 'my_log_file.txt'

那么你现有的 loggingpy.conf 文件应该可以工作了

您应该能够在您的模块中使用您喜欢的任何东西（在合理范围内 - 我不会尝试 logging.config = 'something'）来污染日志记录命名空间，这应该使它可以被配置文件引用。

Answer 3

args 语句在 logging.config.py_install_handlers 使用 eval 解析。所以你可以将代码添加到args。

[handler_handRoot]
class=FileHandler
level=INFO
formatter=formRoot
args=(os.getenv("LOG_FILE","default_value"),)

现在您只需要填充环境变量。

Answer 4

这是非常hacky，所以我不会推荐它。但是，如果您出于某种原因不想添加到日志命名空间，您可以通过命令行参数传递日志文件名，然后使用 sys.argv[1] 访问它（sys.argv[0] 是脚本名称)。

[handler_handRoot]
class=FileHandler
level=INFO
formatter=formRoot
args=(sys.argv[1],)