如何同时支持分词和非分词搜索

Question

我尝试让休眠搜索同时支持标记化和非标记化搜索（如果我在这里使用了错误的术语，请原谅我）。一个例子如下。

我有以下类型的实体列表。

@Entity
@Indexed
@NormalizerDef(name = "lowercase",
    filters = {
        @TokenFilterDef(factory = ASCIIFoldingFilterFactory.class),
        @TokenFilterDef(factory = LowerCaseFilterFactory.class)
    }
)
public class Deal {
    //other fields omitted for brevity purposes

    @Field(store = Store.YES)
    @Field(name = "name_Sort", store = Store.YES, normalizer= @Normalizer(definition="lowercase"))
    @SortableField(forField = "name_Sort")
    @Column(name = "NAME")
    private String name = "New Deal";

    //Getters/Setters omitted here
}

我还使用关键字方法来构建查询构建器，如下所示。 getSearchableFields 方法返回可搜索字段的列表。在此示例中，“名称”将在此返回列表中，因为 Deal 中的字段名称是可搜索的。

    protected Query inputFilterBuilder() {
        return queryBuilder.keyword()
            .wildcard().onFields(getSearchableFields())
            .matching("*" + searchRequest.getQuery().toLowerCase() + "*").createQuery();
    }

当我只使用整个单词进行搜索时，此设置可以正常工作。例如，如果我有两个 Deal 实体，一个名为“Practical Concrete Hat”，另一个名为“Practical Cotton Cheese”。通过“实用”搜索时，我得到了这两个实体。但是当通过“Practical Co”搜索时，我得到了 0 个实体。原因是字段名称被标记化了，“Practical Co”不是关键词。

我的问题是如何同时支持这两个搜索，以便如果通过“Practical”或“Practical Co”搜索，则返回这两个实体。

我阅读了官方的休眠搜索文档，我的直觉是我应该再添加一个用于未标记搜索的字段。也许我构建查询构建器的方式也需要更新？

更新

使用 SimpleQueryString 的解决方案无效。

根据提供的答案，我编写了以下查询构建器逻辑。但是，它不起作用。

    protected Query inputFilterBuilder() {
        String[] searchableFields = getSearchableFields();
        if(searchableFields.length == 0) {
            return queryBuilder.simpleQueryString().onField("").matching("").createQuery();
        }
        SimpleQueryStringMatchingContext simpleQueryStringMatchingContext = queryBuilder.simpleQueryString().onField(searchableFields[0]);
        for(int i = 1; i < searchableFields.length; i++) {
            simpleQueryStringMatchingContext = simpleQueryStringMatchingContext.andField(searchableFields[i]);
        }
        return simpleQueryStringMatchingContext
            .matching("\"" + searchRequest.getQuery() + "\"").createQuery();
    }

使用单独的分析器进行查询和短语查询的工作解决方案。

我从官方文档中发现，我们可以使用词组查询来搜索多个单词。所以我写了下面的查询构建器方法。

    protected Query inputFilterBuilder() {
        String[] searchableFields = getSearchableFields();
        if(searchableFields.length == 0) {
            return queryBuilder.phrase().onField("").sentence("").createQuery();
        }
        PhraseMatchingContext phraseMatchingContext = queryBuilder.phrase().onField(searchableFields[0]);
        for(int i = 1; i < searchableFields.length; i++) {
            phraseMatchingContext = phraseMatchingContext.andField(searchableFields[i]);
        }
        return phraseMatchingContext.sentence(searchRequest.getQuery()).createQuery();
    }

这不适用于使用多个单词且中间有空格的搜索。然后我按照建议添加了用于索引和查询的单独分析器，突然之间，它起作用了。

分析器定义：

@AnalyzerDef(name = "edgeNgram", tokenizer = @TokenizerDef(factory = WhitespaceTokenizerFactory.class),
    filters = {
        @TokenFilterDef(factory = ASCIIFoldingFilterFactory.class),
        @TokenFilterDef(factory = LowerCaseFilterFactory.class),
        @TokenFilterDef(factory = EdgeNGramFilterFactory.class,
                        params = {
                            @Parameter(name = "minGramSize", value = "1"),
                            @Parameter(name = "maxGramSize", value = "10")
                        })
    })
@AnalyzerDef(name = "edgeNGram_query", tokenizer = @TokenizerDef(factory = WhitespaceTokenizerFactory.class),
    filters = {
        @TokenFilterDef(factory = ASCIIFoldingFilterFactory.class),
        @TokenFilterDef(factory = LowerCaseFilterFactory.class)
    })

交易名称字段注释：

    @Field(store = Store.YES, analyzer = @Analyzer(definition = "edgeNgram"))
    @Field(name = "edgeNGram_query", store = Store.YES, analyzer = @Analyzer(definition = "edgeNGram_query"))
    @Field(name = "name_Sort", store = Store.YES, normalizer= @Normalizer(definition="lowercase"))
    @SortableField(forField = "name_Sort")
    @Column(name = "NAME")
    private String name = "New Deal";

覆盖名称字段分析器以使用查询分析器的代码

            String[] searchableFields = getSearchableFields();
            if(searchableFields.length > 0) {
                EntityContext entityContext = fullTextEntityManager.getSearchFactory()
                    .buildQueryBuilder().forEntity(this.getClass().getAnnotation(SearchType.class).clazz()).overridesForField(searchableFields[0], "edgeNGram_query");

                for(int i = 1; i < searchableFields.length; i++) {
                    entityContext.overridesForField(searchableFields[i], "edgeNGram_query");
                }
                queryBuilder = entityContext.get();
            }

跟进问题 为什么上述调整实际上有效？

Answer 1

您的问题是通配符查询。通配符查询不支持标记化：它们仅适用于单个标记。事实上，它们甚至不支持规范化，这就是为什么您必须自己将用户输入小写...

解决方案不是混合标记化和非标记化搜索（这是可能的，但不会真正解决您的问题）。解决方案是完全忘记通配符查询，并在分析器中使用边缘图过滤器。

请参阅this answer 了解详细说明。

如果您使用 ELasticsearch 集成，您将不得不依靠 hack 来使“仅查询”分析器正常工作。见here。