如何从现有日志中提取字段（ECS 中的fluent-bit）

Question

我已经在我的 ECS 集群上配置了 Fluent-bit。我可以在 Kibana 中看到日志。但是所有日志数据都发送到单个字段“日志”。如何将每个字段提取到单独的字段中。这个问题中已经有 fluentd 的解决方案。

但是如何使用 fluent-bit 实现相同的效果？

在 fluent-bit 的 Kuberntetes 中有一个解决方案：https://docs.fluentbit.io/manual/filter/kubernetes

如何在 ECS 中实现同样的功能？

Answer 1

通常 fluent-bit 准确发送从/var/lib/docker/containers/*/*.log 获取的 docker 日志文件 您可以在您的机器上浏览此路径，并查看它包含的 JSON 字符串恰好包含您提到的两个字段。

从这里你有很多方法，我会发现两个我很熟悉的：

1. 使用logstash:

   你应该很了解日志结构。这有助于您为解析日志字段创建正确的过滤器管道。通常，人们为此使用filter plugins。如果您添加日志示例，我将能够制作一个过滤器示例，例如 this

2. 使用elasticsearch ingest node。

   你应该很了解日志结构。为了能够轻松创建processors pipeline 用于解析日志字段。不止一次，具体的日志示例可以帮助我们为您提供帮助。

最常用的过滤器/处理器是 grok filter/processor。这个工具有很多选项可以从任何日志中解析结构化文本。