Tornado - 应用程序和请求日志记录如何工作？答案

【问题标题】：Tornado - how does application and request logging work?Tornado - 应用程序和请求日志记录如何工作？
【发布时间】：2014-07-10 19:31:33
【问题描述】：

我正在使用 Amazon Linux AMI 在 AWS EC2 上使用 tornado 3.2.1、python 2.7.3、supervisord 3.0。

我正在尝试获取请求级别日志记录（例如“200 POST / (127.0.0.1) 0.75ms”（这是请求级别日志记录的定义，对吗？））以写入日志文件和异常堆栈跟踪记录到另一个日志文件。我从here 看到，作为 Tornado 的一部分，有三个潜在的日志可用，理想情况下，我还希望从该通用日志中报告的输出写入另一个文件。我读过最好让 supervisord（或 Tornado 以外的其他东西）处理日志文件的写入。

我的 supervisord.conf 如下所示：

[unix_http_server]
file=/var/lib/supervisor/supervisor.sock   ; (the path to the socket file)

[supervisord]
logfile=/var/log/supervisor/supervisord.log ; (main log file;default $CWD/supervisord.log)
logfile_maxbytes=50MB        ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10           ; (num of main logfile rotation backups;default 10)
loglevel=info                ; (log level;default info; others: debug,warn,trace)
pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
nodaemon=false               ; (start in foreground if true;default false)
minfds=1024                  ; (min. avail startup file descriptors;default 1024)
minprocs=200                 ; (min. avail process descriptors;default 200)

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///var/lib/supervisor/supervisor.sock ; use a unix:// URL  for a unix socket

[include]
files=supervisord.d/*.ini

这是我的 app supervisord ini 文件：

[program:myapp]
process_name=myapp%(process_num)s
directory=/opt/me/venvs/myapp
command=/opt/me/venvs/myapp/bin/python /opt/me/venvs/myapp/bin/run_myapp.py --port=%(process_num)s --logging=DEBUG
startsecs=2
user=me
stdout_logfile=/var/log/myapp/access-%(process_num)s.log
stderr_logfile=/var/log/myapp/error-%(process_num)s.log
numprocs=2
numprocs_start=14000

我在 run_myapp.py 的底部有这段代码 sn-p

if __name__ == "__main__":
    tornado.options.define("port", default=7777, help="run on the given port", type=int)
    tornado.options.parse_command_line()
    http_server = tornado.httpserver.HTTPServer(Application())
    http_server.listen(tornado.options.options.port)
    tornado.ioloop.IOLoop.instance().start()

似乎发生的情况是logging.info('doing something...') 的请求级别信息、堆栈跟踪和使用都记录到由 supervisord stderr_logfile 变量指定的文件中。没有任何内容被记录到 stdout_logfile。我唯一可以将任何内容记录到 stdout_logfile 的情况是，如果我实际上将 print 语句放入代码中并使用 sys.stdout.flush() 刷新缓冲区（或使用 -u 标志启动 python）。

将请求记录到 stdout_logfile、堆栈跟踪和其他应用程序级别输出到 stderr_logfile 的正确方法是什么？我想问题的第二部分已经回答了，因为它已经这样做了，但第一部分到目前为止还没有解决。

【问题讨论】：

标签： python logging tornado supervisord

【解决方案1】：

Tornado 在 parse_command_line 中的内置日志配置无法帮助您分离日志流 - 您必须设置 tornado.options.options.logging=None 并直接在 python 日志记录模块中管理您自己的配置。

Supervisord 只能处理两个日志文件（stdout 和 stderr），因此您不能同时让 supervisord 处理您的日志文件并进行细粒度分离，但您可以有两个流。配置 tornado.access 记录器以使用propagate=False 写入stdout，并将根记录器写入stderr。然后你可以在 supervisord 中给两个流不同的输出文件。

【讨论】：