我有想要在 ElasticSearch 中索引的文档，其中包含一个名为 name 的文本字段。我目前使用snowball 分析器索引名称。但是，我想匹配包含空格和不包含空格的名称。例如，名称为“The Home Depot”的文档应匹配“homedepot”、“home”和“home depot”。此外，具有单个单词名称（如“ExxonMobil”）的文档应匹配“exxon mobil”和“exxonmobil”。
我似乎找不到合适的分析器/过滤器组合来完成此操作。
【问题讨论】：
标签： lucene elasticsearch
我认为解决这个问题最直接的方法是应用Shingle token filter，它不是创建 ngrams 字符，而是创建传入标记的组合。您可以将其添加到您的分析器中，例如：
filter:
........
my_shingle_filter:
type: shingle
min_shingle_size: 2
max_shingle_size: 3
output_unigrams: true
token_separator: ""
您应该注意此过滤器在过滤器链中的位置。在所有令牌分离/删除/替换已经发生之后（即在任何 StopFilters、SynonymFilters、词干分析器等之后），它可能应该在链的后期出现。
【讨论】：
在这种情况下，您可能需要查看 ngram 类型的解决方案。
Ngram 做了这样的事情：
鉴于文本 abcd 并使用 ngram 进行分析，您可能会得到标记：
a
ab
abc
abcd
b
bc
bcd
c
cd
d
以下是可能适合您的设置。
您可能需要修改过滤器部分。这个特殊的过滤器创建最多 12 个单位长的克和至少两个标记。
现在，如果您需要它对雪球给您的进一步分析（如水、水、浇水都与令牌水相匹配），您将需要进一步修改。
"filter": {
"ngram_filter": {
"type": "nGram",
"min_gram": 2,
"max_gram": 12
}
},
"analyzer": {
"ngram_index": {
"filter": [
"lowercase",
"ngram_filter"
],
"tokenizer": "keyword"
},
"ngram_search": {
"filter": [
"lowercase"
],
"tokenizer": "keyword"
}
}
},
这里的想法是在索引时间创建正确的令牌以在搜索时间可用。但是，您在搜索时需要做的就是使这些令牌可用。您无需再次重新应用 ngram 分析器。
编辑：
我刚刚注意到的最后一件事，这个要求：“ExxonMobil”应该匹配“exxon mobil”
可能意味着您需要执行以下操作：
"ngram_search": {
"filter": [
"lowercase"
],
"tokenizer": "whitespace"
}
注意添加了“空白”标记器而不是关键字。这允许搜索在空白处拆分。
【讨论】：