Solr nGram 过滤器 minGramSize - 只有 2 个字符的单词的标记

Question

我正在使用 Solr，想了解 EdgeNGramFilterFactory 的工作原理。

例如，我正在搜索术语“1 tb”。请注意，我搜索的字段的属性很少。

这是该字段类型在索引时间上应用的过滤器。

<filter class="solr.EdgeNGramFilterFactory" minGramSize="2" maxGramSize="10" /> 

现在，当我搜索“1 tb”这个词时，我没有得到想要的结果。

我很少有带有“5 MegaPixels”一词的产品，当我搜索“5 meg”时，它会给出结果。后来我发现它不适用于“5 me”。并且不给出结果。

如果我删除 nGram 过滤器，它可以正常工作。此外，如果我们设置 minGramSize ="1"，那么查询 "1 tb" 可以正常工作。

我假设对于术语 tb，令牌 tb 应该是有效的。但是当我应用 minGramSize 为 2 时，它似乎没有创建！

谁能解释一下原因？

这是架构中定义的字段。

<fieldType name="AttributesField" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ISOLatin1Accent.txt"/>
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.EdgeNGramFilterFactory" minGramSize="1" maxGramSize="10" /> 
        <filter class="solr.PorterStemFilterFactory"/>
      </analyzer>
      <analyzer type="query">
        <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ISOLatin1Accent.txt"/>
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
        <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.PorterStemFilterFactory"/>
      </analyzer>
    </fieldType>

Answer 1

你可以试试下面的 fieldType

<fieldType name="AttributesField" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="solr.KeywordTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
        <filter class="solr.EdgeNGramFilterFactory" minGramSize="2" maxGramSize="10" /> 
        <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
      <analyzer type="query">
        <tokenizer class="solr.KeywordTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
        <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
    </fieldType>

PorterStemFilterFactory ：它执行规范化过程，从单词中删除常见的结尾。

Example: "riding", "rides", "horses" ==> "ride", "ride", "hors".

<filter class="solr.EdgeNGramFilterFactory" minGramSize="2" maxGramSize="15" side="front"/>

通过下面的配置，字符串值 Nigerian 被分解为以下术语

Nigerian => "ni", "nig", "nige", "niger", "nigeri", "nigeria", "nigeria", "nigerian"