【问题标题】:Timestamp to date in LogstashLogstash 中迄今为止的时间戳
【发布时间】:2018-02-25 23:43:39
【问题描述】:

我正在尝试在 Logstash 的日期格式字段中转换一个名为时间戳的字符串字段,其值为 1510722000000。我的唯一目的是使用此日期字段在 kibana 中可视化数据。我尝试使用日期过滤器,但它没有为我创建目标字段。谁能告诉我如何实现这一目标

我的日期过滤器看起来像这样

date {
    timezone => "UTC"
    match => ["timestamp", "UNIX_MS"]
    target => "@timestamp1"
}

【问题讨论】:

  • it does not create the target field for me:logstash中存储的日志没有@timestamp1这个字段,是这个意思吗?如果是这样,他们是否有标签_dateparsefailure?如果他们有这个标签,则意味着过滤器无法解析字段timestamp。除此之外,我认为您发布的内容没有问题。
  • @baudsp 我没有收到任何解析错误。所有数据都以我想要的数据类型在 elasticsearch 中正确摄取。但是日期过滤器不会创建一个我可以使用的名为 timestamp1 的字段。
  • does not create a field called timestamp1 which I can use. 字段没有创建?还是该字段不可用?如果首先,问题将是在弹性搜索中注入数据时(可能是模板问题)。如果是第二个,问题要么是elasticsearch(也许该字段不是映射中的日期),要么是kibana(你试过reloading the field list吗?)
  • @baudsp 这是一个模板问题,我猜该字段没有被创建。
  • @baudsp 这是一个日期解析器故障

标签: elasticsearch logstash logstash-configuration


【解决方案1】:

我使用的日期过滤器是正确的。问题是我来自时间戳的输入是从纪元时间开始的毫秒数组。日期过滤器无法转换日期字段中的值数组。要解析数组中的值,我们可以使用 Ruby 过滤器。

看看这个帖子Parsing array of epoch time values in Ruby filter

请注意,它仍然不会转换为日期字段格式,而只是解析值。

【讨论】:

    猜你喜欢
    • 2020-07-02
    • 2018-08-01
    • 2014-07-04
    • 1970-01-01
    • 2019-09-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多