使用模糊性和 shingle 分析器使用 matchQuery 进行 Elasticsearch 搜索

Question

我正在使用 elasticsearch 并提出了这样一个问题。 我定义了一个 analyzer 类型为 shingle 并创建了一个映射。

代码如下：

{
    "settings": {
        "analysis": {
            "char_filter": {
                "icons": {
                    "type": "mapping",
                    "mappings_path": "analysis/char_filter.txt"
                }
            },
            "filter": {
                "synonym_filter": {
                    "type": "synonym",
                    "synonyms_path": "analysis/synonym_filter.txt"
                },
                "shingle_filter":{
                    "type":"shingle",
                    "max_shingle_size": 2,
                    "min_shingle_size": 2,
                    "output_unigrams": true,
                    "token_separator": ""
                }
            },
            "analyzer": {
                "my_analyzer": {
                    "filter": [
                        "lowercase",
                        "synonym_filter",
                        "shingle_filter"
                    ],
                    "char_filter": [
                        "icons"
                    ],
                    "tokenizer": "standard"
                }
            }
        }
    },
    "mappings": {
        "type-0": {
            "properties": {
                "text": {
                    "type": "text",
                    "analyzer": "my_analyzer"
                }
            }
        }
    }
}

然后，我将一个文档放入索引中。

{
   "text":"hello"
}

之后我开始这样搜索：

{
    "query":{
        "match":{
            "text":{
                "query":"hell world",
                "fuzziness":1
            }  
        }
    }
}

但它什么都不匹配。 然后我将查询更改为：

{
    "query":{
        "match":{
            "text":{
                "query":"world hell",
                "fuzziness":1
            }  
        }
    }
}

此请求获取文档。

{
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.21576157,
        "hits": [
            {
                "_index": "index-001",
                "_type": "product",
                "_id": "1",
                "_score": 0.21576157,
                "_source": {
                    "text": "hello"
                }
            }
        ]
    }
}

我的 elasticsearch 版本是 6.2.4

谁能告诉我原因？

Answer 1

fuzziness 与 shingle_filter 的组合导致了该问题。如果您阅读了来自fuzziness in match query的注释

模糊匹配不适用于具有同义词的术语或在以下情况下 分析过程在同一位置产生多个标记。 在引擎盖下，这些术语被扩展为一个特殊的同义词查询 混合词频，不支持模糊扩展。

注意加粗部分，同一位置的token不做模糊处理，

现在让我们检查为您的搜索词 hell world 生成的令牌。

{
    "tokens": [
        {
            "token": "hell",
            "start_offset": 0,
            "end_offset": 4,
            "type": "<ALPHANUM>",
            "position": 0 // position 0 for hell
        },
        {
            "token": "hellworld",
            "start_offset": 0,
            "end_offset": 10,
            "type": "shingle",
            "position": 0,  // again position 0 for 
            "positionLength": 2 
        },
        {
            "token": "world",
            "start_offset": 5,
            "end_offset": 10,
            "type": "<ALPHANUM>",
            "position": 1    //position 1 
        }
    ]
}

因此对于位置 0 标记 hell 和 hellworld 将不会应用模糊性，因此它与索引标记 hello 不匹配并且不返回任何结果。

现在检查world hell的令牌

{
    "tokens": [
        {
            "token": "world",
            "start_offset": 0,
            "end_offset": 5,
            "type": "<ALPHANUM>",
            "position": 0
        },
        {
            "token": "worldhell",
            "start_offset": 0,
            "end_offset": 10,
            "type": "shingle",
            "position": 0,
            "positionLength": 2
        },
        {
            "token": "hell",
            "start_offset": 6,
            "end_offset": 10,
            "type": "<ALPHANUM>",
            "position": 1   // this hell position is unique as 1 so it fuzziness will be applied.
        }
    ]
}

现在当您使用world hell 进行查询时，hell 上的标记fuzziness 将被应用，它会匹配hello 索引标记并返回搜索结果。

您可以再次将搜索词更改为world hell elastic，所以现在hell 将没有唯一位置，因此它不会再次带来搜索结果。希望这会清除您的概念。