使用带有 Ngram 过滤器的精确前缀/匹配短语前缀查询

Question

我的目标是搜索长度为一到两个字符的查询文本。 这是我对索引的设置。

"settings" : {
      "index" : {
        "number_of_shards" : "5",
        "provided_name" : "my_user",
        "analysis" : {
          "filter" : {
            "ngrammed" : {
              "type" : "ngram",
              "min_gram" : "3",
              "max_gram" : "50"
            }
          },
          "analyzer" : {
            "ngrammed_ci" : {
              "filter" : [
                "lowercase",
                "ngrammed"
              ],
              "type" : "custom",
              "tokenizer" : "standard"
            },
            "keyword_ci" : {
              "filter" : [
                "lowercase"
              ],
              "type" : "custom",
              "tokenizer" : "keyword"
            }
          }
        }
      }
    }

我有一组用户，其显示名称字段包含以下分析器。假设我有几个用户的名字像 Allen, Alec, Kimball, Polly 我面临的问题是，当我使用al 以及Allen 和Alec 之类的2 个字符长度的查询字符串进行搜索时，它也与Kimball 匹配，因为ngram 过滤器将Kimball 标记为@987654331 @ 在倒排索引中。我试图避免这种情况。还想知道是否有任何方法可以在不更改索引方面的任何内容的情况下实现此功能，并且仅针对查询方面进行更改。

"user_display_name" : {
  "type" : "text",
  "fields" : {
    "ci" : {
    "type" : "text",
    "analyzer" : "keyword_ci"
    }
  "cs" : {
    "type" : "keyword"
    }
  },
  "analyzer" : "ngrammed_ci",
  "search_analyzer" : "standard"
}

Answer 1

正如您所提到的，您想要一个不需要更改索引的解决方案，我建议您使用前缀查询，但在发送前缀查询之前，请确保 确保如我所见，您将搜索字词小写，您在索引中使用了keyword_ci 将您的用户名小写，以提供不区分大小写的搜索。

让我向您展示一个关于您的示例数据的工作示例

我创建了低于最低要求的映射

{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "keyword_ci": {
            "filter": [
              "lowercase"
            ],
            "type": "custom",
            "tokenizer": "keyword"
          }
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "user_display_name": {
        "type": "text",
        "analyzer": "keyword_ci"
      }
    }
  }
}

为您的四个用户编制索引

{
  "user_display_name" : "Polly"
}

搜索查询，请注意前缀查询不是小写的，所以你需要在你的应用程序中做小写，然后再使用下面的前缀查询

{
  "query": {
    "prefix" : { "user_display_name" : "al" }
  }
}

以下是您的预期结果

 "hits": [
      {
        "_index": "internaledgepre",
        "_type": "_doc",
        "_id": "1",
        "_score": 1.0,
        "_source": {
          "user_display_name": "Allen"
        }
      },
      {
        "_index": "internaledgepre",
        "_type": "_doc",
        "_id": "2",
        "_score": 1.0,
        "_source": {
          "user_display_name": "Alec"
        }
      }
    ]

我还写了blog post on various techniques of partial search 和my this SO answer 讨论如何根据各种因素选择部分搜索方法。请仔细阅读以深入了解。

Answer 2

在您的情况下，您需要从单词开头开始的 ngram。在这种情况下，改用edge ngrams 更有意义。

添加一个包含索引映射、索引数据、搜索查询和搜索结果的工作示例。

映射：

{
  "settings": {
    "analysis": {
      "filter": {
        "ngrammed": {
          "type": "edge_ngram",     <<-- note this
          "min_gram": "2",
          "max_gram": "50"
        }
      },
      "analyzer": {
        "ngrammed_ci": {
          "filter": [
            "lowercase",
            "ngrammed"
          ],
          "type": "custom",
          "tokenizer": "standard"
        },
        "keyword_ci": {
          "filter": [
            "lowercase"
          ],
          "type": "custom",
          "tokenizer": "keyword"
        }
      }
    },
    "index.max_ngram_diff": 50
  },
  "mappings": {
    "properties": {
      "user_display_name": {
        "type": "text",
        "fields": {
          "ci": {
            "type": "text",
            "analyzer": "keyword_ci"
          },
          "cs": {
            "type": "keyword"
          }
        },
        "analyzer": "ngrammed_ci",
        "search_analyzer": "standard"
      }
    }
  }
}

将生成以下令牌：

GET/_analyze

{
  "analyzer" : "ngrammed_ci",
  "text" : "Allen"
}

"tokens": [
    {
      "token": "al",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "all",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "alle",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "allen",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    }
  ]

索引数据：

{ "user_display_name" : "Allen" }
{ "user_display_name" : "Alec" }
{ "user_display_name" : "Kimball" }
{ "user_display_name" : "Polly" }

搜索查询：

    {
  "query": {
    "query_string": {
      "query": "al",
      "default_field": "user_display_name"
    }
  }
}

搜索结果：

 "hits": [
      {
        "_index": "my-index",
        "_type": "_doc",
        "_id": "1",
        "_score": 1.0087044,
        "_source": {
          "user_display_name": "Allen"
        }
      },
      {
        "_index": "my-index",
        "_type": "_doc",
        "_id": "2",
        "_score": 1.0087044,
        "_source": {
          "user_display_name": "Alec"
        }
      }
    ]