logstash 不解析所有消息

【问题标题】：logstash not parsing all messageslogstash 不解析所有消息
【发布时间】：2017-03-27 10:07:25
【问题描述】：

我正在尝试使用 logstash 解析 syslog 消息我正在使用 grok 匹配：

    "message", "\[%{TIMESTAMP_ISO8601:timestamp}\] \[%{WORD:module}\] \[%{LOGLEVEL:severity}\] (\[tid=%{DATA
:tid}(\s)?\]) (\[%{DATA:auth}:%{NUMBER:linenum}:%{DATA:method}\]) %{GREEDYDATA:data}"

我收到此错误消息：

[logstash.filters.json] 解析 json 时出错 {:source=>"message", :raw=>"[2017-03-27 09:18:03,071] [WS-Server] [INFO] [WebSocketsHandler: 81:on_message] [ON_MESSAGE] [140609651632016] [trn_id: 1062fed9-9ae3-4523-8817-657031e83af1] 收到来自框 38:b8:eb:50:00:a9", :exception=># 的更新设备详细信息消息

我错过了什么？

谢谢

【问题讨论】：

grokconstructor.appspot.com/do/match#result 您可以使用这个应用程序来测试您的 grok 模式与您的日志行。

标签： json logstash logstash-grok

【解决方案1】：

很可能是因为：

[2017-03-27 09:18:03,071] [WS-Server] [INFO] [WebSocketsHandler:81:on_message] [ON_MESSAGE] [140609651632016] [trn_id: 1062fed9-9ae3-4523-8817-657031e83af1] Received update-device-details message from box 38:b8:eb:50:00:a9

不是有效的 JSON。您的提示在错误中是这样的：

[logstash.filters.json ] Error parsing json

这告诉我，除了您引用的 grok {} 段之外，还有一个 json {} 过滤器应用于此。我建议您查看您的filter { } 语句并弄清楚原始系统日志消息（很可能仍然是message 字段）最终如何被json {} 过滤器解析。 Grok 与此无关。

【讨论】：