仅为选定的 pod 激活 Kubernetes 日志

Question

我想用please_log_with_parser: myparser 之类的注释对一些 kubernetes pod 进行注释，并使用fluentbit 之类的东西仅使用给定的解析器将这些 pod 的日志处理到我们的弹性搜索集群。

对于 fluentbit，我只知道注释 fluentbit.io/exclude，但这将导致必须注释所有其他 pod。 - 是否可以告诉 fluentbit仅处理具有标签的日志，或者以其他方式丢弃所有没有正确注释的消息？

是否有 fluentbit 的替代品可以做到这一点？

Answer 1

一种选择是使用kubernetes、nest 和grep 过滤器的组合，例如this example。

您使用kubernetes 过滤器来创建如下元数据：

{
    "kubernetes": {
        "pod_name": "myapp-0",
        "namespace_name": "default",
        "pod_id": "216cd7ae-1c7e-11e8-bb40-000c298df552",
        "annotations": {
            "please_log_with_parser": "myparser"
        },
        "host": "minikube",
        "container_name": "myapp",
        "docker_id": "370face382c7603fdd309d8c6aaaf434fd98b92421ce7c7c8aafe7697d4aa362"
    }
}

然后使用nest 将注释提升到顶层。 然后使用grep 丢弃仅在存在该注释时保留记录。

我的 helm 值现在如下所示：

rawConfig: |-
 @INCLUDE fluent-bit-service.conf
 @INCLUDE fluent-bit-input.conf
 @INCLUDE fluent-bit-filter.conf
 [FILTER]
     Name         nest
     Match        *
     Operation    lift
     Nested_under kubernetes
     Add_prefix   kubernetes_
 [FILTER]
     Name         nest
     Match        *
     Operation    lift
     Nested_under kubernetes_annotations
     Add_prefix   kubernetes_annotations_
 [FILTER]
     Name    grep
     Match   *
     Regex   kubernetes_annotations_fluentbit.io/parser .*
 [FILTER]
     Name         nest
     Match        *
     Operation    nest
     Wildcard     kubernetes_annotations_*
     Nest_under   kubernetes_annotations
     Remove_prefix   kubernetes_annotations_
 [FILTER]
     Name         nest
     Match        *
     Operation    nest
     Wildcard     kubernetes_*
     Nest_under   kubernetes
     Remove_prefix  kubernetes_
 @INCLUDE fluent-bit-output.conf