如何让 filebeat 忽略某些容器日志

Question

我在 Kubernetes 集群中使用 elasticserach 6.8 和 filebeat 6.8.0。我希望 filebeat 忽略某些容器日志，但这似乎几乎是不可能的 :)。

这是我的自动发现配置

filebeat.autodiscover:
  providers:
   - type: kubernetes
     hints.enabled: true
     templates:
      - condition:
        contains:
          kubernetes.namespace: bagmessage
        config:
         - type: docker
           containers.ids:
             - "${data.kubernetes.container.id}"
           processors:
             - drop_event:
                 when:
                   or: 
                     - contains:
                         kubernetes.container.name: "filebeat"
                     - contains:
                         kubernetes.container.name: "weave-npc"
                     - contains:
                         kubernetes.container.name: "bag-fluentd-es"
                     - contains:
                         kubernetes.container.name: "logstash"
                     - contains:
                         kubernetes.container.name: "billing"

我已经尝试了此配置的许多变体，但 filebeats 仍在处理我希望它忽略的容器日志。

我想知道我想做的事情是否可行，如果可以，我做错了什么？

谢谢

Answer 1

我在您的配置中看到的第一个错误是template 中condition 部分的缩进不正确。应该是：

   - type: kubernetes
     hints.enabled: true
     templates:
       - condition:
           contains:
             kubernetes.namespace: bagmessage

其次，我不确定kubernetes.* 对配置内的处理器是否可见type: docker。您可以尝试引用docker.container.name。或者，您可以将所有特定于 k8s 的条件移动到 templates 下的 condition 部分：

filebeat.autodiscover:
  providers:
    - type: kubernetes
      hints.enabled: true
      templates:
        - condition:
            and:
              - contains.kubernetes.namespace: bagmessage
              - contains.container.name: billing
          config:
              ...

另外，请确保“container.name”（但不是“pod.name”）确实是您想要的。

Answer 2

现在似乎可以工作了。我不确定是什么问题。