Elasticsearch - 用逗号分割 - 分割过滤器 Logstash

Question

我有一个值是动态的字段。我想将空格分隔的标记存储在 completion suggester 的数组字段中

假设我的字段val 是hi how are you，那么我想要一个带有[hi how are you, how are you, are you, you] 的数组

我尝试使用split filter 作为我在csv 中的数据。我无法做到这一点。无论如何，只有 ES，Logstash 可以做到这一点。

Answer 1

根据我链接到的解决方案，您可以实现以下所需。

首先创建一个摄取管道，利用script 处理器构建所需的输入数组：

PUT _ingest/pipeline/csv-parser
{
  "processors": [
    {
      "csv": {
        "field": "message",
        "target_fields": [
          "val",
          "val_type",
          "id"
        ]
      }
    },
    {
      "script": {
        "source": """
          def tokens = new ArrayList(Arrays.asList(/\s+/.split(ctx.val)));
          def nbTokens = tokens.size();
          def input = [];
          for (def i = nbTokens; i > 0; i--) {
            input.add(tokens.join(" "));
            tokens.remove(0);
          }

          ctx.val = [
            'input': input,
            'contexts': [
              'type': [ctx.val_type]
            ]
          ]
          """
      }
    },
    {
      "remove": {
        "field": "message"
      }
    }
  ]
}

然后你可以像这样索引文档：

PUT index/_doc/1?pipeline=csv-parser
{
  "message": "hi how are you,seller,10223667"
}

生成的文档将如下所示：

GET index/_doc/1
->
{
    "val" : {
      "input" : [
        "hi how are you",
        "how are you",
        "are you",
        "you"
      ],
      "contexts" : {
        "type" : [
          "seller"
        ]
      }
    },
    "val_type" : "seller",
    "id" : "10223667"
}