您如何实时可视化日志文件？答案

【问题标题】：How do you visualize logfiles in realtime?您如何实时可视化日志文件？
【发布时间】：2010-09-10 19:27:07
【问题描述】：

有时它可能很有用，但主要是为了可视化日志文件（从 http 请求和带宽使用到每天喝的咖啡）看起来很酷或令人印象深刻。我知道Visitorville 看起来有点傻，然后是gltail。

您如何实时“可视化”您的日志文件？

【问题讨论】：

标签： statistics visualization logging

【解决方案1】：

还有 logstalgia 工具。可视化 Apache 日志。有关更多详细信息和 youtube 视频，请参阅 http://code.google.com/p/logstalgia/。

【讨论】：

【解决方案2】：

您可以看看 Apache Chainsaw。这个漂亮的工具允许从几乎每一个地方记录收入，并具有实时过滤和收集功能。如果你有一个已经写好的日志，我不确定它是否可以读取它，我上次使用它已经有一段时间了（对于我们JBoss服务器的原型设计阶段非常有用）

【讨论】：

您可以在以下位置进行测试：logging.apache.org/log4j/docs/webstart/chainsaw/…（只是认为您的答案缺少指向您建议的工具的链接）

【解决方案3】：

Google 发布了Visualization API，它可能足够灵活，可以帮助您：

Google Visualization API 让您可以访问可以显示的多个结构化数据源，从大量的可视化中进行选择。 Google 可视化 API 还提供了一个平台，可用于创建、共享和重用由广大开发者社区编写的可视化。

它需要一些 Javascript 知识，包括 Google Docs 集成、电子表格集成。查看Gallery 获取一些示例。

【讨论】：

【解决方案4】：

你可以看看这个。 http://www.intalisys.com。 3D实时可视应用

【讨论】：

【解决方案5】：

我们使用Awk 和 Perl 脚本来解析日志文件并创建摘要报告和“数据库”（从技术上讲，数据库中的每一行对应一个独特的事件，其中包含许多关于该事件的数据列，但不存储在传统的数据库格式。我们正朝着这个方向前进）。我喜欢 Awk，因为您可以使用正则表达式快速搜索日志文件中的特定字符串，保留计数器并从日志文件条目中收集数据，并使用该数据进行各种计算。然后使用您最喜欢的绘图软件。我们使用 Excel，主要是因为这是我开始这份工作之前的内容。我更喜欢 MATLAB，它是基于 gnuplot 构建的开源表亲 Octave。

【讨论】：

【解决方案6】：

我更喜欢 Sawmill 来可视化数据。您基本上可以针对它抛出任何日志文件，它不仅会自动检测其结构*，还会决定如何分析它。即使您有自定义日志文件，您仍然可以定义应分析和可视化的内容和方式。

【讨论】：

【解决方案7】：

我主要使用R来可视化数据，但我也听说过Orange。

【讨论】：

【解决方案8】：

不确定它是否适合这个问题，但我刚刚发布了这个：

numStepCsvLogVis - analyze logfile data in CSV format

它使用 Python 的 matplotlib，其动机是需要在 C 中调试内核循环缓冲区操作（和变量）的上下文中可视化 syslog 数据；它通过使用 CSV 文件格式作为日志文件数据的中介来进行可视化（我无法简单地解释它 - 请查看 README 以获得更多详细信息）。

它有一个在终端中访问的“步进”播放器，并且可以处理“实时”stdin 输入，但不幸的是，当情节渲染时，我无法获得 1 FPS 的更好响应，所以我不会真的称之为“实时”本身 - 但您可以使用它最终生成情节动画的声音视频。

【讨论】：

【解决方案9】：

一个简单的解决方案是将Logstalgia 与轻量级local-web-server 一起使用。

首先安装上面的。然后，从您网站的根文件夹中实时可视化您的日志：

$ ws --log-format default | logstalgia -

【讨论】：

【解决方案10】：

使用 SciTe、Notepad++ 或其他具有文件处理例程的强大文本编辑器，因此您可以创建一个脚本来为日志的某些部分着色，或者只是从中删除一些不重要的行

【讨论】：