logstash，插件kv和字段中的重复值答案

【问题标题】：logstash, plugin kv and duplicated value in fieldlogstash，插件kv和字段中的重复值
【发布时间】：2017-11-28 14:51:19
【问题描述】：

示例日志：

2017-11-27T04:26:33+01:00 node231 PROXY-NODE2: 2017-11-27 04:26:31,559 [INFO] [user=optimus&id=dwql33333fssd&password=****&request=true&response=true&total=225&id=dwql33333fssd]

我的 logstash 配置：

filter {
    if "node" in [tags] and  "[INFO]" in [message] {
        grok {
            match => { "message" => "%{TIMESTAMP_ISO8601} %{DATA} %{DATA:[proxy][node]}: %{TIMESTAMP_ISO8601:[proxy][timestamp]} %{DATA} \[%{GREEDYDATA:data}\]"
            add_field => {"[@metadata][status]" => "parsed"}
        }
        if [@metadata][status] == "parsed" {
            kv {
             source => "data"
             field_split => "&"
             include_keys => [ "user", "id", "total" ]
        }
    }
}

输出（示例）：

{
    "id" => [
              [0] "dwql33333fssd",
              [1] "dwql33333fssd"
            ],
}

因为日志包含两次“id”......我如何才能只获得第一个或最后一个“id”？我需要灵活的解决方案，因为有时其他字段也会重复。

【问题讨论】：

标签： parsing duplicates logstash logstash-grok logstash-configuration

【解决方案1】：

用于删除重复键/值对的布尔选项。当设置为 false 时，只会保留一个唯一的键/值对。

例如，考虑像 from=me from=me 这样的来源。 [from] 将映射到一个包含两个元素的数组：["me", "me"]。要仅保留唯一的键/值对，您可以使用以下配置：

  filter {
      kv {
        allow_duplicate_values => false
      }
    }

来源：https://www.elastic.co/guide/en/logstash/current/plugins-filters-kv.html#plugins-filters-kv-allow_duplicate_values

【讨论】：

请始终在您的答案中添加解释，因为其他用户可能不明白这里发生了什么。