是否有任何工具可以实时分析日志（自定义服务器应用程序）并通过日志输出自定义指标？可能是网页界面上的一些图表？
我的典型用例如下：我有一个接收传入请求的套接字服务器。每个请求都具有特定的“类型”。我想查看以下信息：过去 N 分钟内发生了多少个请求？请求的平均响应时间（每个记录的请求都有其响应时间）；最近 N 分钟内发生了多少个单一类型的请求？和其他人。
我知道日志项中包含的特定信息无法自动提取，我可能需要一些编码来指导该工具如何解析和理解日志，以及如何从中收集信息。
是否有工具/软件/系统/监视器可以帮助解决这个问题？
【问题讨论】：
标签： monitoring real-time logging
当新行附加到日志时，向 user@jabberserver.com 发送 Jabber/XMPP 消息：
# tail --follow=name --retry /var/log/logfile.log | sendxmpp -i -u username -p password -j jabberserver.com user@jabberserver.com
用户名/密码必须在 jabberserver.com 上创建。 user@jabberserver.com 必须通过您自己编写的 Jabber/XMPP 客户端登录（我更喜欢 perl + Net::Jabber）。然后你可以对传入的 XMPP 消息做任何你想做的事情（存储在数据库中，发送电子邮件，...）。
【讨论】：
在 Ustream，我们需要一个类似的工具，所以我们写了Yolo。它是一个通用的日志解析器和处理器，可以将数据发送到 StatsD，StatsD 聚合您需要的数据（它支持计数器、计时数据和仪表）并发送到 Graphite。
简而言之，您只需编写一个配置文件，设置一个正则表达式解析器以匹配您的日志数据并设置您要使用的 statsd 键。您不必编写任何代码。
您可以在 Github 上找到示例配置。
【讨论】：