从特定日期开始收获日志

Question

我在 ubuntu 14.04 上安装了 logstash、elasticsearch、kibana，我使用 cca 40 logstash-forwarders（ubuntu 12.04 和 14.04），我每秒能够接收 cca 300-400 日志，我想从“开始收获日志”今天”，而不是旧日志.. 几周前我运行了 logstash，但它仍然只收获旧的原木，我想实时采集更多的原木。

我尝试设置过滤器，与策展人合作，我尝试谷歌搜索，但我仍然没有解决方案。

不幸的是，在我的情况下轮换旧日志是不可能的，因为我们必须存储旧日志以进行安全审计。

Answer 1

如果您的日志不在单独的文件中（您可能会想出一个 glob 模式来限制索引的内容），那么我建议计算“滞后”（事件的时间戳和当前时间戳）。如果延迟高于您的阈值，则放弃该事件。