如何使用 fluentd 从 kubernetes 日志中提取严重性、时间、消息等字段

Question

如何使用 fluentd 从 kubernetes 日志中提取不同的字段，例如严重性、时间、流、消息。我有多个来自 kubernetes 的日志模式。如何使用 fluentd 从不同类型的模式中提取字段

示例错误日志 - {"log":"2019-09-06 21:57:50.864 DEBUG 1 --- [ntainer#2-0-C-1] class : error message \"\n","stream":"stdout","time":"2019-09-06T21:57:50.864955417Z"}

我正在使用的正则表达式 - ^(?:{"log":"(?<time>\d+(?:-\d+){2}\s+\d+(?::\d+){2}\.\d+)\s"*(?<level>\S+) (?<pid>\d+) --- \[(?<thread>[\s\S]*?)\] (?<class>\S+)\s*:\s* (?<message>[\s\S]*?)(?=\g<time>|\Z).*)

我在使用正则表达式时遇到模式未找到错误。下面是我的流利配置

 <source> 
   type tail 
   path /var/log/containers/*.log
   pos_file /var/log/es-containers.log.pos
   tag kubernetes.* 
   format /^(?:{"log":"(?<time>\d+(?:-\d+){2}\s+\d+(?::\d+){2}\.\d+)\s"*(?<level>\S+) (?<pid>\d+) --- \[(?<thread>[\s\S]*?)\] (?<class>\S+)\s*:\s* (?<message>[\s\S]*?)(?=\g<time>|\Z).*)/
   time_format %Y-%m-%dT%H:%M:%S.%NZ
   read_from_head false
 </source>

Answer 1

嗯，我经历过。我发现玩正则表达式很不健康:)。

我就是这样解决的。

1. 我制作了将日志写入 json 的应用程序。在我的例子中，它是一个使用 log4j 的 java 应用程序。因此可以轻松地将其转换为 json。
2. 所以应用程序日志开始看起来像{"level":"INFO","timestamp":"2019-09-06 11:33:24,987","thread":"http-nio-8090-exec-5","file":"AccountService.java","line":"51","message":"A sample info log","trace":""}
3. 现在 kubernetes 日志将应用程序日志与日志对象包装为 json。
4. 在blog 的帮助下，我可以在弹性搜索中将所有信息作为属性获取。