Filebeat vs Rsyslog 转发日志

Question

我目前正在使用filebeat将日志转发到logstash，然后再到elasticsearch。

现在，我正在考虑通过 rsyslog 将日志转发到 logstash。这样做的好处是，我不需要在每台服务器上安装和配置 filebeat，而且我可以转发 JSON 格式的日志，易于解析和过滤。

我可以使用 TCP/UDP 通过 rsyslog 将日志转发到 logstash。

我想知道 rsyslog 相对于 filebeat 在性能、可靠性和易用性方面的更多优势和劣势。

Answer 1

Rsyslog 具有内存中的磁盘队列。这应该负责缓冲消息。

Rsyslog queue-modes

Answer 2

当您将 Beats 与 Logstash 结合使用时，您就有了一种称为“背压管理”的功能 - 例如，如果网络出现问题，Beats 将停止向 Logstash 服务器充斥消息。

使用 Beats 的另一个优势是，在 Logstash 中，您可以拥有持久化队列，这样可以防止在您的 elasticsearch 集群出现故障时丢失日志消息。所以 Logstash 会将消息持久化在磁盘上。请小心，因为如果您使用 UDP，Logstash 无法确保您不会丢失消息，this link 会很有帮助。