【问题标题】:Logstash-plugin elasticsearch: apply executing searches in logstashLogstash-plugin elasticsearch:在logstash中应用执行搜索
【发布时间】:2016-06-14 20:12:29
【问题描述】:

这是我查询我的 elasticsearch 数据库的执行搜索(它工作正常):

curl -XPOST 'localhost:9200/test/_search?pretty' -d '
{
"size":1,
"query": {
"match": {
"log.device":"xxxx"
}
},
"sort" : [ {
"_timestamp" :
{
"order":"desc"
}
}]
}'

我想通过带有插件elasticsearch的logstash做同样的事情。但是,https://www.elastic.co/guide/en/logstash/current/plugins-filters-elasticsearch.html 网站上没有可用的“大小”选项

elasticsearch {
hosts => ["localhost:9200/test"]
query => "log.device:%{[log][device]}"
sort => "@timestamp:desc"
}

你如何处理这个问题?

感谢您的关注和帮助。

【问题讨论】:

    标签: elasticsearch logstash


    【解决方案1】:

    由于该插件中的大小为hardcoded to 1,因此您不必添加任何大小参数。

    还要确保按 _timestamp 而不是 @timestamp 排序。

    最后,hosts 参数不带任何索引。

    所以:

    elasticsearch {
       hosts => ["localhost:9200"]
       query => "log.device:%{[log][device]}"
       sort => "_timestamp:desc"
    }
    

    如果您确实需要指定索引,目前尚不支持,但我上周已created a PR 支持此功能。因此,在合并和发布之前,您将能够使用我的版本而不是官方版本:

    $> git clone http://github.com/consulthys/logstash-filter-elasticsearch
    $> cd logstash-filter-elasticsearch 
    $> gem build logstash-filter-elasticsearch.gemspec
    $> $LS_HOME/bin/plugin -install logstash-filter-elasticsearch-2.0.4.gem
    

    安装修改后的插件后,您将能够在特定索引上工作:

    elasticsearch {
       hosts => ["localhost:9200"]
       index => "test"
       query => "log.device:%{[log][device]}"
       sort => "_timestamp:desc"
    }
    

    【讨论】:

    • Val,我有一个关于大小等于 1 的问题。因为我的弹性搜索中有多个文档具有相同的设备名称。我在 logstash 中的插件 elasticsearc 中的查询中返回了哪个文档?
    • 根据您的排序具有最新时间戳的那个。
    • @Val 嗨,我已经安装了logstash-filter-elasticsearch-2.0.4.gem。我正在使用Logstash version 2.3.0。当我尝试在我的elasticsearch { hosts => ["localhost:9200"] index => "aaaa" 中包含index 属性时。我得到错误没有这样的属性称为index。我有什么遗漏吗?
    • @Mangoski 你是不是先卸载了之前版本的过滤器?
    • @Mangoski 如果你运行这个bin/logstash-plugin list --verbose elasticsearch,你会看到什么?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-11-19
    • 1970-01-01
    • 1970-01-01
    • 2016-01-19
    • 1970-01-01
    • 2015-05-27
    • 1970-01-01
    相关资源
    最近更新 更多