使用 filebeat 记录 - 将 JSON 提取到 EST 字段

Question

我们使用 filebeat + elk 来处理我们的日志。

1. 我们对filebeat的要求是在每一行接收一个json对象并提取以下字段：

   1. 消息字段：记录的整个消息。
   2. 对于每个 json 字段，在 ES 文档中创建等效字段。

我们尝试使用json.keys_under_root: true，但未能成功将全部内容存储在“消息”字段中。

1. 我们希望获得多行支持，但未能成功使用 json.keys_under_root: true 和 multiline.pattern:<pattern>definition 启动 filebeat 服务。

您对这两个问题有任何想法吗？ 我们更喜欢使用 filebeat 来执行这个 json 解析，而不是在 logstash 中。

非常感谢。

Answer 1

1.) 下面的filebeat.yml配置帮助我解析了一行Json日志文件。

filebeat.prospectors：

路径：
你的路。
输入类型：日志
json.keys_under_root: 是的
json.add_error_key: true

2.) 我还没有尝试过多行模式。您也可以查看https://discuss.elastic.co/t/input-multiline-json/165287这个帖子和本论坛的其他帖子。