配置 filebeat 以控制读取日志的频率并忽略旧日志答案

【问题标题】：Configure filebeat to control how often logs are read and to ignore old logs配置 filebeat 以控制读取日志的频率并忽略旧日志
【发布时间】：2019-04-25 01:05:38
【问题描述】：

我的 filebeat.yml 中有一个探矿者设置，大致如下：

filebeat.propectors:
- type: log
paths:
  - /tmp/log/typeA*.log
pipeline: "pipelineA"
fields_under_root: true
fields:
  logtype: TYPEA
- type: log
paths:
  - /tmp/log/typeB*.log
pipeline: "pipelineB"
fields_under_root: true
fields:
  logtype: TYPEB
- type: log
paths:
  - /tmp/log/typeC*.log
pipeline: "pipelineC"
fields_under_root: true
fields:
  logtype: TYPEC

它工作正常，但我需要控制阅读日志。我希望能够控制输入，以便比某些日志更频繁地读取（例如，对于 pipelineC，每天只读取一次，但对于 pipelineA，每分钟读取一次）。我还希望能够忽略超过某个年龄的日志（例如忽略超过 3 天的日志）。

如有任何想法，我将不胜感激。谢谢

【问题讨论】：

标签： elastic-stack filebeat

【解决方案1】：

想通了。这是解决方案：

filebeat.propectors：

type: log
paths:
/tmp/log/typeA*.log
ignore_older: 72h
scan_frequency: 10s
pipeline: "pipelineA"
fields_under_root: true
fields:
logtype: TYPEA
type: log
paths:
/tmp/log/typeB*.log
ignore_older: 72h
scan_frequency: 10s
pipeline: "pipelineB"
fields_under_root: true
fields:
logtype: TYPEB
type: log
paths:
/tmp/log/typeC*.log
ignore_older: 72h
scan_frequency: 10s
pipeline: "pipelineC"
fields_under_root: true
fields:
logtype: TYPEC

【讨论】：