【问题标题】:Throttling with Logstash and scaling使用 Logstash 进行节流和扩展
【发布时间】:2023-03-17 20:40:01
【问题描述】:

我已经在使用 ELK 堆栈进行日志处理。 现在,我打算使用 Logstash 来限制传入数据。 但是,如果负载增加,不确定如何扩展 Logstash + 节流。

通常,为了扩展 Logstash,我计划同时运行多个 Logstash 实例,以分担负载。但是如果存在限制,那么如何在不同的 Logstash 实例之间共享限制信息?或者任何其他完全不同的方法?

【问题讨论】:

  • “节流”是指要丢弃一些传入数据?遵循什么规则(固定百分比、DEBUG 消息等)?
  • 不,我不想扔任何东西。但只是为了生成警报,例如,如果特定 API 在 5 秒内被点击超过 10 次,则创建警报。

标签: logging logstash scaling elastic-stack throttling


【解决方案1】:

根据您的额外 cmets,听起来 metrics{} 过滤器会起作用。{}它允许您计算给定时间段内通过 logstash 发生的事件数量,并且您可以根据要计算的不同事物配置不同的“计量器”类型。

一旦您使用该过滤器对它们进行计数,您就可以有一个输出节来提醒您(例如电子邮件、hipchat、irc、pagerduty)。

【讨论】:

    猜你喜欢
    • 2021-12-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-11-30
    相关资源
    最近更新 更多