如何使用 YAML 配置在 Dask 中设置记录器答案

【问题标题】：How to setup loggers in Dask using YAML configuration如何使用 YAML 配置在 Dask 中设置记录器
【发布时间】：2023-03-31 22:41:01
【问题描述】：

我正在尝试使用 dask 配置文件在 dask 中设置记录器，如文档中的 show here 所示。我的~/.config/dask/dask.yaml 配置文件是：

logging:
  version: 1
  formatters:
      default:
          format: '[%(asctime)s] %(name)s - %(process)s - %(levelname)s - %(message)s'
          datefmt: '%H:%M:%S'
  handlers:
      console:
        class: logging.StreamHandler
        level: INFO
        formatter: default
  loggers:
      distributed:
        level: INFO
        handlers: [console]

但是，当我运行python -c "from dask.distributed import Client; c = Client()" 时，输出不使用指定的格式：

INFO:distributed.http.proxy:To route to workers diagnostics web server please install jupyter-server-proxy: python -m pip install jupyter-server-proxy
INFO:distributed.scheduler:Clear task state
INFO:distributed.scheduler:  Scheduler at:     tcp://127.0.0.1:44923
INFO:distributed.scheduler:  dashboard at:            127.0.0.1:8787
INFO:distributed.nanny:        Start Nanny at: 'tcp://127.0.0.1:46371'
INFO:distributed.nanny:        Start Nanny at: 'tcp://127.0.0.1:44967'
INFO:distributed.nanny:        Start Nanny at: 'tcp://127.0.0.1:34181'
INFO:distributed.nanny:        Start Nanny at: 'tcp://127.0.0.1:33739'
INFO:distributed.worker:      Start worker at:      tcp://127.0.0.1:38271
INFO:distributed.worker:         Listening to:      tcp://127.0.0.1:38271
INFO:distributed.worker:         dashboard at:            127.0.0.1:39511
INFO:distributed.worker:Waiting to connect to:      tcp://127.0.0.1:44923
...

如果我将级别更改为 DEBUG，我还会收到调试日志消息，因此 dask 似乎正在查看配置文件并使用它，但格式不起作用。我也尝试在distributed.yaml 文件中放置类似的配置，但得到了相同的结果。

任何想法我做错了什么？

【问题讨论】：

标签： python logging dask dask-distributed python-logging

【解决方案1】：

很晚才回复：

看起来其他东西正在设置日志格式，因为这些日志不是 Dask 的默认格式 "%(name)s - %(levelname)s - %(message)s"（至少在此 PR 出现之前：https://github.com/dask/distributed/pull/3987/files）。

Dask 没有使用 python logger 设置，yaml 文件中的正确路径应该是：

distributed:
  admin:
    log-format:'[%(asctime)s] %(name)s - %(process)s - %(levelname)s - %(message)s'

Dask 的文档列出了它从中加载配置的几个位置：https://docs.dask.org/en/latest/configuration.html（尽管环境变量 DASK_CONFIG 在文档中并不明显。）

您可以尝试以下操作，看看 Dask 认为它应该将日志输出为：

import dask.config
import dask.distributed
dask.config.refresh()
dask.config.get('distributed.admin.log-format')

最后如果你还是找不到设置错误的原因，不妨试试：

dask.config.set({'distributed.admin.log-format':'[%(asctime)s] %(name)s - %(process)s - %(levelname)s - %(message)s'})
client = dask.distributed.Client()

【讨论】：