【问题标题】:How to exclude specific logs from docker in fluentd when using match tag?使用匹配标签时如何从 fluentd 中的 docker 中排除特定日志?
【发布时间】:2018-06-19 13:10:18
【问题描述】:

我使用 docker 将日志发送到fluentd。来自模块的日志负载如此之大,以至于磁盘空间在 3 到 4 天内就被填满了。 fluentd 配置如下所示:

<source>
  @type  forward
  @id    input1
  @label @mainstream
  port  24224
</source>

<filter **>
  @type stdout
</filter>

<label @mainstream>
 <match project_docker**mangox:latest**>
    @type elasticsearch
    host 172.16.131.102
    port 9200
    index_name project_mangox
    type_name mangox
    logstash_format true
    logstash_prefix project_mangox
    logstash_dateformat %Y%m%d
    buffer_queue_full_action drop_oldest_chunk
  </match>
</label>

我浏览了fluentd 中的一些文档以查看是否有任何文档,并看到我可以使用filter_grep,问题是我使用match 而不是filter 标签。

问题是如何在match 中使用类似于 grep 的内容?或者我什至可以在匹配标签中使用filter_grep 吗?这怎么可能?

【问题讨论】:

    标签: docker grep fluentd


    【解决方案1】:

    我认为您可以在比赛中使用记录转换器插件,以便在存储之前删除不必要的日志。可以参考链接here

    【讨论】:

    • 任何例子都将不胜感激。
    • 看看这个:rubydoc.info/gems/fluent-plugin-record-reformer/0.4.0。此外,它看起来像这样: ty​​pe record_reformer remove_keys remove_me renew_record false enable_ruby false tag reformed.${tag_prefix[-2]} hostname ${hostname} input_tag ${tag} last_tag ${ tag_parts[-1]} 消息 ${message},耶!
    猜你喜欢
    • 2018-10-29
    • 2021-02-02
    • 1970-01-01
    • 2022-12-12
    • 1970-01-01
    • 1970-01-01
    • 2021-09-03
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多