日志事件的 grok 模式

Question

我是 Logstash 新手，我已经查看了许多 grok 模式的示例，但我仍在努力实现我的目标，即解析以下 JSON 格式化日志事件。

{
  "@fields": {
    "level": "DEBUG",
    "mdc": {},
    "file": "SearchServiceImpl.java",
    "class": "com.blah.blah.service.impl.SearchServiceImpl",
    "line_number": "767",
    "method": "getUserSavedSearches"
  },
  "@timestamp": "2015-04-24T12:30:37.953+01:00",
  "@message": "username: admin sessionid: 56cR73aBpuIBzRgIElzLUtJJ method_name: getUserSavedSearches",
  "@source_host": "Kens-MacBook.local"
}

我特别想提取会话 ID 和用户名。 我也希望我能找到详细的文档来解释如何使用 Grok。 （我已经阅读了有关 logstash 等的可用文档）。 任何帮助将不胜感激

Answer 1

首先，您的日志格式为 JSON。因此，在您的配置中，您可以使用 json 编解码器来读取日志。然后，使用GROK 解析用户名和会话ID。

input {
    stdin{
        codec => json
    }
}

filter {
    grok {
        match => [
            "@message", "username: %{USERNAME:username} sessionid: %{NOTSPACE:sessionId} method_name: %{WORD:method_name}"
        ]
    }
}

output {
    stdout { codec => rubydebug }
}

更详细的文档，你可以使用this site来帮助你尝试你的grok模式，this site是可以使用的grok模式。

这是示例输出：

{
         "@fields" => {
              "level" => "DEBUG",
                "mdc" => {},
               "file" => "SearchServiceImpl.java",
              "class" => "com.blah.blah.service.impl.SearchServiceImpl",
        "line_number" => "767",
             "method" => "getUserSavedSearches"
    },
      "@timestamp" => "2015-04-24T19:30:37.953+08:00",
        "@message" => "username: admin sessionid: 56cR73aBpuIBzRgIElzLUtJJ method_name: getUserSavedSearches",
    "@source_host" => "Kens-MacBook.local",
        "@version" => "1",
            "host" => "BEN_LIM",
        "username" => "admin",
       "sessionId" => "56cR73aBpuIBzRgIElzLUtJJ",
     "method_name" => "getUserSavedSearches"
}