如何在logstash中解析多行XML？

Question

我的 s3 存储桶中有多行 XML 文件（约 800 行），我想在 Elasticsearch 中对它们进行索引，但我无法在 logstash 中解析它们。字段有时为空，因此无法手动解析文件。

我的 xml 看起来像：

<ServiceSalesClosed>
   <ErrorLevel>0</ErrorLevel>
   <ErrorMessage/>
   <LaborSaleCustomerPay>50.00</LaborSaleCustomerPay>`
   ... 

在我的输入中，我有配置：

codec => multiline
{ 
pattern => "<ServiceSalesClosed.*"
what => next
}

在我的过滤器中，以下配置：

multiline { 
pattern => ["\t\t"]
what => next
} 

Answer 1

好的，看起来问题是，您对多行编解码器和 XML 过滤器感到困惑。

我可以建议你设置你的多行吗：

codec => multiline {
     pattern => "<ServiceSalesClosed>" 
     negate => "true"
     what => "previous"
}

这将采用 不 包含此标记的任何行，并将其与前一行保持一致。这应该将您的 XML 节分组为可解析的块。您应该在_source 中看到此结果。

然后在你的过滤器中：

filter {
  xml => {
    source => "message"
    target => "xml_content"
    xpath => [ "//ErrorLevel", "error_level" ] 
  }
}

这应该解析您的 XML，在弹性搜索数据库中为“xml_content”创建字段（包括您解析的 XML），但也专门将 ErrorLevel 提取到它自己的字段中。