使用两个配置文件时的 Logstash 混合输出

Question

我在 Ubuntu 中使用 logstash 1.5.6。

我在/etc/logstash/conf.d 中写了两个配置文件，指定不同的输入/输出位置：

文件 A：

input {
  file {
    type => "api"
    path => "/mnt/logs/api_log_access.log"
  }
}
filter {
  ...
}
output {
  if "_grokparsefailure" not in [tags] {
      elasticsearch {
        host => "localhost"
        protocol => "http"
        index => "api-%{+YYYY.MM.dd}"
        template => "/opt/logstash/template/api_template.json"
        template_overwrite => true
      }
  }
}

文件 B：

input {
  file {
    type => "mis"
    path => "/mnt/logs/mis_log_access.log"
  }
}
filter {
  ...
}
output {
  if "_grokparsefailure" not in [tags] {
      elasticsearch {
        host => "localhost"
        protocol => "http"
        index => "mis-%{+YYYY.MM.dd}"
        template => "/opt/logstash/template/mis_template.json"
        template_overwrite => true
      }
  }
}

但是，我可以看到来自/mnt/logs/mis_log_access.log 和/mnt/logs/nginx/dmt_access.log 的数据都显示在索引api-%{+YYYY.MM.dd} 和mis-%{+YYYY.MM.dd} 中，这不是我想要的。

配置有什么问题？谢谢。

Answer 1

Logstash 读取配置目录中的所有文件并将它们全部合并到一个配置中。

要使一个过滤器或输出部分仅针对一种类型的输入运行，请使用条件：

if [type] == "api" {
   ....
}

Answer 2

它更好地处理输入类型的过滤器

文件 A：

input {
   file {
     type => "api"
     path => "/mnt/logs/api_log_access.log"
     }
 }

   if [type] == "api" {
     filter {
      ...
     }
   }

文件 B：

input {
 file {
    type => "mis"
    path => "/mnt/logs/mis_log_access.log"
  }
 }

   if [type] == "mis" {
     filter {
      ...
     }
   }

文件 C: output.conf

output {
  elasticsearch {
  hosts => ["localhost:9200"]
  index => "%{type}-%{+YYYY.MM.dd}"
  }
}

使用logstash 5.1