使用 grok 和 logstash 的自定义指标

Question

我正在尝试将一些代码集成到现有的 ELK 堆栈中，我们仅限于使用 filebeats + logstash。我想要一种配置 grok 过滤器的方法，它允许不同的开发人员以预定义的格式记录消息，以便他们可以捕获自定义指标，并最终构建 kibana 仪表板。

例如，一个团队可能会记录以下消息：

metric_some.metric=2
metric_some.metric=5
metric_some.metric=3

另一个团队可能会从另一个应用记录以下消息：

metric_another.unrelated.value=17.2
metric_another.unrelated.value=14.2

有没有办法配置一个单独的 grok 过滤器，它将捕获 metric_ 之后的所有内容作为新字段以及值？我读过的所有here 似乎都表明您需要提前知道字段名称，但我的目标是能够开始记录新指标而无需添加/修改 grok 过滤器。

注意：我意识到 Metricsbeat 在这里可能是一个更好的解决方案，但由于我们正在与我们无法控制的现有 ELK 集群集成，所以这不是我的选择。

Answer 1

由于您的消息似乎是一系列键值对，您可以使用kv 过滤器而不是grok。

使用grok时需要命名目标字段，kv目标字段的名称将与key相同。

以下配置应该适用于您的情况。

filter { kv { prefix => "metric_" } }

对于事件metric_another.unrelated.value=17.2，您的输出将类似于{ "another.unrelated.value": "17.2" }