ElasticSearch/Logstash 数据缺口

Question

我正在使用最小的 Logstash 设置和 Syslog 输入从三个远程系统收集执行数据。

这很好用，但有时会出现数据缺口。原始日志文件中的一些日志条目无法进入 ElasticSearch。

我的问题是当负载增加时 Logstash 是否会丢弃数据。

如果是，我想知道：

1. 在我的情况下如何确认。有没有办法监控 Logstash 对于这样的数据丢失？ Logstash 会抛出错误或类似错误吗？
2. 避免此类数据差距的建议。我已经减少了 产生的日志事件的频率。我认为下一步将是 采用此处建议的缩放方法之一：deploying-and-scaling-logstash

谢谢， 迈克尔

Answer 1

当前版本的 logstash (1.x) 有一个非常小的管道队列，如果它变得拥挤，将不会接受比这更多的消息。对于文件输入，这不是问题，因为文件将继续位于磁盘上等待 logstash 恢复。对于没有缓冲区的 syslog，消息会丢失。

目前的建议是在（redis、rabbitmq）之间放置一个broker，当logstash拥塞时可以增长。

据说logstash 2.0有一个真正的管道缓存，所以不需要额外的代理。