【问题标题】:What happens if logstash sends data to elasticsearch at a rate faster than it can index?如果 logstash 以比它可以索引的速度更快的速度将数据发送到 elasticsearch 会发生什么?
【发布时间】:2016-06-27 11:20:13
【问题描述】:

所以我有多个主机,每个主机上都安装了 logstash。所有这些主机上的 Logstash 从主机生成的日志文件中读取数据,并将数据发送到我的单个 aws elasticsearch 集群。

现在考虑每个主机同时生成大量日志的场景。由于每个主机上都安装了logstash,它只是将数据转发到es集群,我假设即使我的elasticsearch集群无法索引它,我的主机也不会受到影响。在这种情况下日志是否会丢失?

我的主机会受到任何影响吗?

【问题讨论】:

    标签: elasticsearch logstash elastic-stack logstash-configuration


    【解决方案1】:

    简而言之,你可能会丢失一些主机上的日志,这就是为什么使用像 kafka 这样的消息传递解决方案https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html#deploying-message-queueing

    【讨论】:

    • 但它肯定不会减慢我的主机速度?
    猜你喜欢
    • 2023-03-22
    • 2015-11-23
    • 2021-04-27
    • 2014-04-19
    • 2017-07-16
    • 2017-11-16
    • 2022-06-23
    • 2012-12-23
    • 2011-01-01
    相关资源
    最近更新 更多