【问题标题】:Elasticsearch field breaks into multiple valuesElasticsearch 字段分成多个值
【发布时间】:2016-11-19 23:36:09
【问题描述】:

我正在使用 ELK 堆栈来运送日志。 我正在处理的问题是其中一个字段分解为多个值。
明确地说,对于现场产品,我的值应该是:
Anti MalwareNew Anti VirusVPN-1 & FireWall-1 等等。

但是,运行时:

curl --user admin:111111 -XPOST 'localhost:9200/filebeat-2016.07.14/_search?pretty' -d '
{
  "size": 0,
  "aggs": {
    "group_by_product": {
      "terms": {
        "field": "product",
        "script": "_value"
      }
    }
  }
}'

输出是:

{
  "size": 0,
  "aggs": {
    "group_by_product": {
      "terms": {
        "field": "product"
      }
    }
  }
}'
{
  "took" : 116,
  "timed_out" : false,
  "_shards" : {
    "total" : 20,
    "successful" : 20,
    "failed" : 0
  },
  "hits" : {
    "total" : 2624573,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_product" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 8748,
      "buckets" : [ {
        "key" : "1",
        "doc_count" : 2439769
      }, {
        "key" : "firewall",
        "doc_count" : 2439769
      }, {
        "key" : "vpn",
        "doc_count" : 2439769
      }, {
        "key" : "anti",
        "doc_count" : 166522
      }, {
        "key" : "malware",
        "doc_count" : 87399
      }, {
        "key" : "new",
        "doc_count" : 79123
      }, {
        "key" : "virus",
        "doc_count" : 79123
      }, {
        "key" : "blade",
        "doc_count" : 8249
      }, {
        "key" : "compliance",
        "doc_count" : 8249
      }, {
        "key" : "identity",
        "doc_count" : 5176
      } ]
    }
  }
}

所以VPN-1 & FireWall-1 的值分为vpnfirewall1

我看到它与已分析字段有关,但我无法将字段定义为未分析,因为字段创建是动态的。

谢谢。

【问题讨论】:

    标签: ruby elasticsearch logstash kibana elastic-stack


    【解决方案1】:

    您需要使用动态模板。参考here

    您只需要确保动态创建的字段遵循特定模式,或者如果您希望它适用于所有字段,只需使用 *。将您的分析器设置为关键字。此分析器按原样传递字符串。

    【讨论】:

    • 感谢您的回复。我阅读了您的参考资料,但我仍然不清楚。为了应用动态模板,我需要索引已经存在,如果不存在,手动创建它,但在我的情况下(在我相信的所有 ELK 情况下),logstash 动态创建索引(以:filebeat-%{+YYYY.MM.dd}. 那么,我怎样才能为所有索引应用动态模板呢?Thnaks
    • 你总是可以通过logstash获取数据到你选择的索引,索引有一个选项,所以你可以告诉logstash将数据发送到哪个索引。此外,如果您不想这样做,则始终可以在映射中使用正则表达式,例如 filebeat-%* ,并且映射将应用于与该模式匹配的所有索引。参考这个code972.com/blog/2015/02/…
    猜你喜欢
    • 2013-08-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-09-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-04-23
    相关资源
    最近更新 更多