在 Logstash 配置中每天为 Elasticsearch 创建一个新索引

Question

我打算设置一个 ELK 堆栈设置，其中每日 JSON 输入存储在创建的日志文件中，每个日期一个。我的 logstash 将通过这些日志侦听输入，并将其存储到 Elasticsearch 中与日志文件条目日期相对应的索引处。

我的logstash-output.conf 类似于：

output {
  elasticsearch { 
    host => localhost
    cluster => "elasticsearch_prod"
    index => "test"
  }
}

因此，就目前而言，logstash 的所有输入都存储在 elasticsearch 的索引 test 中。我想要的是在 2015.11.19 上发生的 logstash 条目，它存储在名为 logstash-2015.11.19.log 的日志文件中，必须相应地存储在索引 test-2015.11.19 中。

我应该如何编辑我的 logstash 配置文件来启用它？

Answer 1

回答是因为评论无法格式化，而且看起来很糟糕。

您的文件名（我假设您使用文件输入）存储在您的路径变量中，如下所示：

file {
            path => "/logs/**/*my_log_file*.log"
            }
            type => "myType"
    }

这个变量在你的整个配置中都可以访问，所以你可以做的是使用正则表达式过滤器将你的日期解析出路径，例如使用 grok，你可以做类似的事情（注意：伪代码）

if [type] == "myType" {
   grok {
      match => {
          "path" => "%{MY_DATE_PATTERN:myTimeStampVar}"
      }
   }
}

有了这个，你现在在“myTimeStampVar”中有你的变量，你可以在你的输出中使用它：

elasticsearch {
            host => "127.0.0.1"
            cluster => "logstash"
            index => "events-%{myTimeStampVar}"
        }

说了这么多，我不太清楚你为什么需要这个？我认为最好让 ES 为您完成这项工作。它将知道您的日志的时间戳并相应地对其进行索引，以便您可以轻松访问它。但是，上面的设置应该适合您，我使用了一种非常相似的方法来解析客户端名称并基于每个客户端创建子索引，例如：myIndex-%{client}-%{+YYYY.MM .dd}

希望这会有所帮助，

阿图尔

编辑：我做了一些挖掘，因为我怀疑你担心你的日志被放入错误的索引，因为它们在错误的时间被解析？如果这是正确的，解决方案不是从日志文件中解析出索引，而是从每个日志中解析出时间戳。

我假设您的每个日志行都有一个时间戳。 Logstash 将创建一个 @timestamp 字段，它是当前日期。所以这将不等于索引。但是，解决这个问题的正确方法是改变 @timestamp 字段，而不是使用日志行中的时间戳（解析的）。这样，logstash 将拥有正确的索引并将其放在那里。