使用 elasticsearch 和 logstash 删除输入标签字段

Question

我正在使用 logstash 发送到 elasticsearch，有人知道如何删除 [tags] 字段吗？ 我正在使用此字段来过滤每个 jdbc 输入应输入的位置，我在下面留下一个示例。 我想要的是不要将该字段插入到elasticsearch中，我已经尝试过remove_field，但是在使用它时，它不会直接插入到elasticsearch中。

    input {
      jdbc {
            jdbc_driver_library => "/usr/share/logstash/logstash-core/lib/jars/ifxjdbc-4.50.3.jar"
            jdbc_driver_class => "com.informix.jdbc.IfxDriver"
            jdbc_connection_string => "zzzz"
            jdbc_user => "zzz"
            jdbc_password => "zzz"
            schedule => "*/5 * * * * *"                       
            statement => "SELECT * FROM informix.test ORDER BY tes_id ASC"
            tags => "test_001"
      }
    }

    filter { 
      mutate {
          remove_field => [ "@version","@timestamp" ]
      }
    } 
output {

  if "test_001" in [tags] {

        # Para ELK
        elasticsearch {
              hosts => "localhost:9200"
              index => "test"
              document_type => "test"
        }
  }      
}

尝试这样做：

mutate { add_field => { "[@metadata][mitags]" => [tags]  }
           remove_field => [tags]
        } 

但它不会插入到 elasticsearch 中。

显然，elasticsearch 中的输入 [tags] 被创建为一个数组 ....

Answer 1

如果你想使用一个字段来过滤你的输出，你不能删除这个字段，它将被插入到 elasticsearch 中，除非你使用 metadata 字段，因为你似乎已经在尝试了，但是add_field 配置错误。

试试下面的管道。

input {
  jdbc {
      ... your jdbc config ...
    tags => "test_001"
  }
}
filter { 
    mutate {
        add_field => { "[@metadata][tags]" => "%{tags}" } 
    }
    mutate {
        remove_field => ["@version","@timestamp","tags"]
    }
} 
output {
    if "test_001" in [@metadata][tags] {
        elasticsearch {
            ... your elasticsearch output ...
        }
    }      
}

第一个mutate将在[@metadata][tags]字段中添加您的标签，第二个mutate将删除您的字段，包括tags，然后您可以根据[@metadata][tags]进行过滤