在 Kibana 中解析整数并在时间轴中显示

Question

这是 Kibana UI，我想解析消息中的一些 Integer。消息末尾的数字是一种方法的处理时间，我在 Kibana 中按小时可视化平均处理时间。这可能吗？

我在logstash中尝试了一些conf：

filter{
    json{
        source => "message"
    }
    grok {
        match => {
            "message" => "^Finish validate %{NUMBER:cto_validate_time}$"
        }
    }
    grok {
        match => {
            "message" => "^Finish customize %{NUMBER:cto_customize_time}$"
        }
    }

}

它有效。但是当我创建时间表时，我无法获取新字段。

Answer 1

由于您不关心性能问题，您可以使用以下无痛代码在索引模式中创建一个名为 process_time 的 scripted field。它所做的只是从您的 message 字段中获取最后一个数值。

def m = /.*\s(\d+)$/.matcher(doc['message.keyword'].value);
if ( m.matches() ) {
   return m.group(1)
} else {
   return 0
}

然后您可以构建一个图表以按小时显示平均处理时间。转到可视化选项卡并创建一个新的垂直条形图。在 Y 轴上，您将在 process_time 字段上创建 Average 聚合，在 X 轴上，您将在时间戳字段上使用 Date histogram 聚合.示例如下：

注意：您还需要在elasticsearch.yml文件中添加以下行并重新启动ES：

script.painless.regex.enabled: true

更新

如果您想通过 Logstash 进行操作，可以添加以下 grok 过滤器

filter{
    grok {
        match => {
            "message" => "^Finish customize in controller %{NUMBER:cto_customize_time}$"
        }
    }
    mutate {
        convert => { "cto_customize_time" => "integer" }
    }
}