Logstash 解析器错误，时间戳格式错误答案

【问题标题】：Logstash parser error, timestamp is malformedLogstash 解析器错误，时间戳格式错误
【发布时间】：2017-03-27 15:19:21
【问题描述】：

谁能告诉我我做错了什么，或者为什么 Logstash 不想解析 ISO8601 时间戳？

我得到的错误信息是

操作失败 ... "error"=>{"type"=>"mapper_parsing_exception", "原因"=>"无法解析 [时间戳]", "caused_by"=>{"type"=>"illegal_argument_exception", "reason"=>"无效格式：\"2017-03-24 12:14:50\" 在 \"17-03-24 格式不正确 12:14:50\""}}

示例日志文件行（IP 地址中的最后一个字节故意替换为 000）

2017-03-24 12:14:50 87.123.123.000 12345678.domain.com GET /smil:stream_17.smil/chunk_ctvideo_ridp0va0r600115_cs211711500_mpd.m4s - HTTP/1.1 200 750584 0.714 "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36" https://referrer.domain.com/video/2107 https fra1 "HIT, MISS" 12345678.domain.com

GROK 模式（使用http://grokconstructor.appspot.com/do/match 验证）

RAW %{TIMESTAMP_ISO8601:timestamp}%{SPACE}%{IPV4:clientip}%{SPACE}%{HOSTNAME:http_host}%{SPACE}%{WORD:verb}%{SPACE}\/(.*:)?%{WORD:stream}%{NOTSPACE}%{SPACE}%{NOTSPACE}%{SPACE}%{WORD:protocol}\/%{NUMBER:httpversion}%{SPACE}%{NUMBER:response}%{SPACE}%{NUMBER:bytes}%{SPACE}%{SECOND:request_time}%{SPACE}%{QUOTEDSTRING:agent}%{SPACE}%{URI:referrer}%{SPACE}%{WORD}%{SPACE}%{WORD:location}%{SPACE}%{QUOTEDSTRING:cache_status}%{SPACE}%{WORD:account}%{GREEDYDATA}

Logstash 配置（输入端）：

input {
    file {
      path => "/subfolder/logs/*"
      type => "access_logs"
      start_position => "beginning"
    }
}
filter {
    # skip first two lines in log file with comments
    if [message] =~ /^#/ {
        drop { }
    }

    grok {
        patterns_dir => ["/opt/logstash/patterns"]
        match => { "message" => "%{RAW}" }
    }

    date {
        match => [ "timestamp" , "yyyy-MM-dd HH:mm:ss" ]
        locale => "en"
    }

    # ... (rest of the config omitted for readability)
}

【问题讨论】：

您能否发布您的 Elasticsearch 映射该索引（特别是字段 timestamp）？

标签： logstash logstash-grok logstash-configuration logstash-file

【解决方案1】：

所以我很确定这是由字段 timestamp 映射到 Elasticsearch 中它不解析的类型引起的。如果您发布索引映射，我很乐意查看。

注意：您可以通过添加remove_field 快速解决此问题，因为如果date 过滤器成功，该字段的值将被拉入@timestamp。现在，您在两个字段中存储了相同的值。然后您不必担心该字段的映射。 :)

date {
    match => [ "timestamp" , "yyyy-MM-dd HH:mm:ss" ]
    locale => "en"
    remove_field => [ "timestamp" ]
}

【讨论】：

谢谢。首先，我看到索引中有两个字段，“@timestamp”和“timestamp”。实际上，后者映射到的格式与我在此处发送的格式不同。