fluentbit - 从导出的日志元数据中排除特定的 kubernetes 注释

Question

我有一些 pod 包含一个非常长的值的注释。当 fluentbit 尝试将日志导出到 elasticsearch 时，我觉得这会导致问题。我不需要将此特定注释与日志元数据一起导出。 我试图通过关闭 fluentbit kubernetses 过滤器中的注释来防止此注释被导出，如下所示：

        [FILTER]
            Name                kubernetes
            Match               kube.*
            Merge_Log           On
            Keep_Log            Off
            K8S-Logging.Parser  On
            K8S-Logging.Exclude On
            Annotations         Off

但是，这会给我们带来其他问题，因为我们需要过滤器正在删除的其他一些注释。 所以我的问题是，有没有办法从元数据中排除单个/特定注释，而不是排除所有注释？

Answer 1

使用这些过滤器：

1. 将“kubernetes”元数据提升一级
2. 删除不需要的数据
3. 将剩余数据放回“kubernetes”

   [FILTER]
       Name                nest
       Match               application.*
       Operation           lift
       Nested_under        kubernetes
       Add_prefix          Kube.
   
   [FILTER]
       Name                modify
       Match               application.*
       Remove              Kube.annotation.<Metadata_1>
       Remove              Kube.annotation.<Metadata_2>
       Remove              Kube.annotation.<Metadata_3>
   
   [FILTER]
       Name                nest
       Match               application.*
       Operation           nest
       Wildcard            Kube.*
       Nested_under        kubernetes
       Remove_prefix       Kube.