Filebeat 未将正确的多行日志发送到 logstash

Question

由于某种原因，filebeat 在使用 filebeat.yml 文件中的多行过滤器时未发送正确的日志。我正在读取的日志文件有一些多行日志和一些单行。但是，它们都遵循相同的格式，以日期开头。例如，这里有几行：

2017-Aug-23 10:33:43: OutputFile: This is a sample message 
2017-Aug-23 10:34:23: MainClass: Starting connection:
   http.InputProcess: 0
   http.OutPutProcess: 1
2017-Aug-23 10:35:21: OutputFile: This is a sample message 2

我的 Filebeat yml 是：

- input_type: log
  paths:
  - /home/user/logfile.log
  document_type: chatapp
  multiline:
    pattern: "^%{YYYY-MMM-dd HH:mm:ss}"
    negate: true
    match: before

由于某种原因，当我看到 filebeat 日志命中 elasticsearch 时，所有日志都将汇总到一个日志行中，因此它似乎实际上并不是按日期读取文件。任何人都可以帮忙吗？谢谢！

Answer 1

使用

pattern: "^%{YEAR}-%{MONTH}-%{MONTHDAY}"

鉴于 grok 模式，您当前使用的模式没有有效定义的正则表达式。

您可以使用the grokconstructor 测试多行模式。我从logstash 中预定义的grok-patterns 构造了这个模式。