ELK - 使用 Logstash 过滤数据答案

【问题标题】：ELK - Filtering data with LogstashELK - 使用 Logstash 过滤数据
【发布时间】：2017-04-25 23:11:37
【问题描述】：

我正在试验 ELK 堆栈，到目前为止一切顺利。我有一个小问题要解决。我有一个来自 filebeat 的名为“消息”的字段。该字段内部是一个包含用于记录数据的字符串。有时该消息字段可能包含以下行：

successfully saved with IP address: [142.93.111.8] user: [testuser@some.com]

我想应用一个过滤器，所以 logstash 将它发送到 Elastic Search：

successfully saved with IP address: [] user: [testuser@some.com]

这是我目前在 Logstash 中的配置：

input {
beats {
    port => "5043"
    codec => json
    }
  }
  filter {

  if [message] =~ /IP address:/{
    mutate { add_tag => "whats happening" }
    }

}

output {
elasticsearch {
   hosts => [ "localhost:9200" ]
   }
 }

其他东西引起了我的注意。 ELK 能够在 Filebeat 级别和 Logstash 级别上进行文本过滤。哪一个是最常见的场景？ Filebeat过滤更合适吗？

【问题讨论】：

我已经简化了所需的模式。

标签： elasticsearch logstash kibana filebeat

【解决方案1】：

我找到了正确的解决方案：

mutate {
  gsub => ["message", "address: \[(.*?)]", "address:[not indexable]"]
}

希望有人会觉得它有用。

【讨论】：