Elastic 的 Logstash 变异拆分不起作用答案

【问题标题】：Elastic's Logstash Mutate Split not workingElastic 的 Logstash 变异拆分不起作用
【发布时间】：2019-09-25 17:21:21
【问题描述】：

我无法在 logstash 中拆分 http.request.referrer 字段。这是来自数据包节拍。我只想使用域而不是完整路径。使用下面的过滤器，这里建议https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html，我得到以下错误

[WARN ][logstash.filters.mutate  ] Exception caught while applying mutate filter {:exception=>"Invalid FieldReference: `sfa[2]`"}

但如果我不尝试检索第二个元素而只是使用字段 sfa 添加到 sfa_ref 则它可以工作，只是用逗号替换正斜杠。

filter {
  mutate {
    add_field => {"sfa" => "%{[http][request][referrer]}"}
  }
  mutate {
    split => ["sfa", "/"]
    add_field => {"sfa_ref" => "%{sfa[2]}"}
  }
}

输入如下：

{
    "http": {
      "request": {
        "bytes": 727,
        "method": "get",
        "headers": {
          "content-length": 0
        },
        "referrer": "https://example.domain.com/web/font-awesome/css/font-awesome.min.css"
      },
      "response": {
        "bytes": 66989,
        "status_code": 200,
        "body": {
          "bytes": 66624
        },
        "headers": {
          "content-length": 66624,
          "content-type": "application/font-woff2"
        }
      },
      "version": "1.1"
    },
    "status": "OK"
  }

拆分后sfa字段变为：

"sfa": [ "https:", "", "example.domain.com", "web", "font-awesome", "css", "font-awesome.min.css" ]

【问题讨论】：

能否分享sfa字段中的数据示例？此外，要捕获 second 元素，您应该使用 %{sfa[1]}，数组从零开始。
不管我用什么索引来获取元素，0、1、2，报错都是一样的。我已经编辑了问题以根据要求捕获输入数据（大大简化，但保留了消息的结构）。 sfa字段是[http][request][referrer]字段的副本，其值为https://example.domain.com/web/font-awesome/css/font-awesome.min.css拆分后，sfa字段变为："sfa": [ "https:", "", "example.domain.com", "web", "font-awesome", "css", "font-awesome.min.css" ],

标签： elasticsearch filter split logstash dplyr

【解决方案1】：

后面的文档似乎已经过时了。在较新版本的 logstash 中，寻址数组或其中元素的正确方法是%{[field_name][index]}。所以我还需要在字段名称周围加上方括号。

mutate {
  split => ["sfa", "/"]
  add_field => {"sfa_ref" => "%{[sfa][2]}"}
}

【讨论】：