elasticsearch edge n-gram tokenizer：在标记中包含符号

Question

我正在使用基于 Edge NGram 标记器的自定义标记器，并且我希望能够搜索“sport+”之类的字符串，即我希望将特殊符号（例如 + 号）视为一部分令牌。

例如，我们有包含以下字段的文档：

"typeName": "LC 500h Sport+ CVT" 或者 "typeName": "LC 500h Sport CVT".

使用以下子句执行查询：

{
  "match": {
    "typeName": {
      "query": "sport+ cvt",
        "operator": "and"
    }
  }
}

获取两个文档。但是，在这种情况下，我们只希望返回带有 "typeName": "LC 500h Sport+ CVT" 的文档。

我们一直在分词器设置中使用以下 token_chars 类：digit、letter、punctuation。我认为将 symbol 添加为 token_chars 类并重新创建索引可以解决问题，但它没有帮助。

编辑： 这是 Nest 语法中的分析器定义：

Settings(s => s
    .Analysis(_ =>
        _.Analyzers(a => a
                .Custom(
                    "vehicleanalyzer",
                    descriptor => descriptor
                        .Tokenizer(vehicleEdgeNgram)
                        .Filters("lowercase"))
                  .Standard("vehiclesearch",
                  descriptor => descriptor))
            .Tokenizers(descriptor => descriptor
                .EdgeNGram(
                    vehicleEdgeNgram,
                    tokenizerDescriptor =>
                        tokenizerDescriptor
                            .MinGram(1)
                            .MaxGram(10)
                            .TokenChars(
                                TokenChar.Digit,
                                TokenChar.Letter,
                                TokenChar.Punctuation,
                                TokenChar.Symbol)))))

Answer 1

documentation 中所写的 token_chars 是：

应包含在令牌中的字符类。弹性搜索 将拆分不属于指定类的字符。 默认为 []（保留所有字符）。

默认情况下，elasticsearch 保留所有字符。仅当您希望倒排索引中的字符类别较少时，才应使用此选项。因此，要解决您的问题，您应该简单地删除 token_chars 的定义：您的标记器将保留所有字符