LogStash 使用 key=value 进行剖析，逗号答案

【问题标题】：LogStash dissect with key=value, commaLogStash 使用 key=value 进行剖析，逗号
【发布时间】：2018-11-23 12:43:02
【问题描述】：

我有一个包含性能和统计数据的日志模式。我已将 LogStash 配置为将此数据剖析为 csv 格式，以便将值保存到 ES。

<1>,www1,3,BISTATS,SCAN,330,712.6,2035,17.3,221.4,656.3

我正在使用以下 LogSTash 过滤器并获得所需的结果..

grok {
  match => { "Message" => "\A<%{POSINT:priority}>,%{DATA:pan_host},%{DATA:pan_serial_number},%{DATA:pan_type},%{GREEDYDATA:message}\z" }
  overwrite => [ "Message" ]
}
csv {
  separator => ","
  columns => ["pan_scan","pf01","pf02","pf03","kk04","uy05","xd06"]
}

只要列的顺序没有弄乱，这对我来说目前效果很好。

但是我想让这个日志文件更有意义，并在原始日志中包含每个列名。例子——<1>,www1,30000,BISTATS,SCAN,pf01=330,pf02=712.6,pf03=2035,kk04=17.3,uy05=221.4,xd06=656.3

这样我可以在过程中间继续插入或附加键/值而不会损坏数据。（使用 LogStash5.3）

【问题讨论】：

使用 csv filter 代替 grok，这对这个来说太脆弱了。对于键值对，使用kv filter。

标签： logstash logstash-grok logstash-configuration

【解决方案1】：

通过使用@baudsp 建议，我能够制定以下内容。我完全删除了csv{} 块并将其替换为kv{} 块。 kv{} 自动创建了所有键值，让我只将mutate{} 字段转换为浮点数和整数。

 json {
  source => "message"
  remove_field => [ "message", "headers" ]
 }
 date {
   match => [ "timestamp", "YYYY-MM-dd'T'HH:mm:ss.SSS'Z'" ]
   target => "timestamp"
 }
 grok {
   match => { "Message" => "\A<%{POSINT:priority}>,%{DATA:pan_host},%{DATA:pan_serial_number},%{DATA:pan_type},%{GREEDYDATA:message}\z" }
   overwrite => [ "Message" ]
 }
 kv {
  allow_duplicate_values => false
  field_split_pattern => ","
 }

使用上面的块，我可以在消息的任何位置插入 K=V 对。再次感谢所有帮助。我为尝试完成此任务的任何人添加了一个示例代码块。

注意：我使用 NLog 进行日志记录，它会生成 JSON 输出。从 C# 代码来看，格式如下所示。

var logger = NLog.LogManager.GetCurrentClassLogger();
logger.ExtendedInfo("<1>,www1,30000,BISTATS,SCAN,pf01=330,pf02=712.6,pf03=2035,kk04=17.3,uy05=221.4,xd06=656.3");

【讨论】：