Elasticsearch 中的“ngram”过滤器和“ngram”分词器之间是否存在性能差异

Question

我都试过了，当我测试分析仪时，它们似乎产生了相同的结果

settings: {
    analysis: {
        filter: {
            ngram_filter: {
                type: "ngram",
                min_gram: 2,
                max_gram: 20
            }
        },
        tokenizer: {
            ngram_tokenizer: {
                type: "ngram",
                min_gram: 2,
                max_gram: 20
            }
        },
        analyzer: {
            index_ngram: {
                type: "custom",
                tokenizer: "keyword",
                filter: [ "ngram_filter", "lowercase" ]
            },
            index_ngram2: {
                type: "custom",
                tokenizer: "ngram_tokenizer",
                filter: [ "lowercase" ]
            },
        },
    }
}

我得到了同样的结果：

curl -X GET "localhost:9200/my_index/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "analyzer": "index_ngram", 
  "text":     "P&G 40-Bh"
}
'

和

curl -X GET "localhost:9200/my_index/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
  "analyzer": "index_ngram2", 
  "text":     "P&G 40-Bh"
}
'

我应该使用哪一个？有性能差异吗？看起来他们只是以不同的顺序执行操作，但我不确定哪个性能更高，或者哪个约定更好。

Answer 1

很难衡量性能差异，因为我自己还没有遇到过这种特殊情况，也没有尝试过针对大量不同的示例文本集。但是，我认为将此类分析器应用于大量文本并不是一个好主意，因此我认为这不是一个常见的用例。如果我不得不猜测，我猜性能非常相似。在每种情况下，分析过程都必须对相同长度的文本进行窗口化，并且正如您所指出的，它必须发出一组相同的标记（忽略报告的不同标记偏移量）。我用personal visualizer 也观察到了这一点。

我会使用更简单、更简洁的分析器描述（ngram 标记器），而不是使用迂回的关键字标记器（“noop”标记器）并定义额外的 ngram 过滤器。这在未来可能更容易证明、理解和解释。

相关参考资料：

• How to search for a part of a word with ElasticSearch
• https://qbox.io/blog/an-introduction-to-ngrams-in-elasticsearch