带有“tail -f”功能的日志存储

Question

我需要一个“东西”坐在主机上，收听来自某个来源（流利）的文本日志，我可以查询：

• 给定时间窗口的存储日志
• 使用简单过滤存储日志（类似于grep）
• 实时动态（类似于tail -f）

我目前的想法是让 fluentd 将日志发送到普通的旧 RDBMS (Postgres) 以实现前两个，但我不知道第三个的任何现成解决方案。我自己也不会写，但我不敢相信已经有人这样做了:-)

另外，请随意建议不同的存储，我没有与 Postgres 结婚，这只是我的想法。

Answer 1

您可能想尝试将MongoDB output plugin 写入上限集合，它支持一种带有可尾MongoDB 游标的tail -f。

他们甚至在 GitHub 插件仓库中有一个脚本 mongo-tail 来帮助解决这个问题。

当在 Fluentd v0.12 上使用最新的 MongoDB 插件时——它比稳定的 Fluentd 有一些方便的特性——你可能需要应用错误修复（等待上游应用）以确保上限集合正确创建并且拖尾工作正常 - 请参阅https://github.com/fluent/fluent-plugin-mongo/pull/91。