elasticsearch ngrams：为什么匹配较短的令牌而不是较长的？

Question

我有一个带有以下映射和分析器的索引：

settings: {
    analysis: {
      char_filter: {
        custom_cleaner: {
          # remove - and * (we don't want them here)
          type: "mapping",
          mappings: ["-=>", "*=>"]
        }
      },
      analyzer: {
        custom_ngram: {
          tokenizer: "standard",
          filter: [ "lowercase", "custom_ngram_filter" ],
          char_filter: ["custom_cleaner"]
        }
      },
      filter: {
        custom_ngram_filter: {
          type: "nGram",
          min_gram: 3,
          max_gram: 20,
          token_chars: [ "letter", "digit" ]
        }
      }
    }
  },
  mappings: {
    attributes: {
      properties: {
        name: { type: "string"},
        words: { type: "string", similarity: "BM25", analyzer: "custom_ngram" }
      }
    }
  }
}

我在索引中有以下 2 个文档：

"name": "shirts", "words": [ "shirt"]

和

"name": "t-shirts", "words": ["t-shirt"]

我执行多重匹配查询

"query": {

            "multi_match": {
               "query": "t-shirt",
               "fields": [
                  "words",
                  "name"
               ],
               "analyzer": "custom_ngram"
            }

   }

问题：

shirts 得分为 1.17，而 t-shirt 得分为 0.8。 为什么会这样？我怎样才能使 t-shirt（直接匹配）得分更高？

我需要 ngrams 用于另一个用例，我必须检测包含匹配项。 （衬衫是肌肉衬衫，...）因此我想我不能跳过 ngram。

谢谢！

Answer 1

我相信这是因为您使用了StandardTokenizer，它将字符串“t-shirt”标记为标记“t”和“shirt”。但是，“t”比最小克大小短，因此不会从中生成任何标记。因此，您在每种情况下都获得了相同的匹配项，但带有 t-shirt 的文档较长，因此得分较低。

您可以使用Explain API 获取有关文档获得分数的原因的详细信息。

您确定需要使用 ngram 吗？您的示例，“muscle-shirt”中的“shirt”应该由StandardAnalyzer处理得很好，它将在连字符上标记。