Hibernate Search 6 的更新答案
简答:不要使用通配符查询,使用带有EdgeNGramFilterFactory 的自定义分析器。另外,不要尝试自己分析查询(这就是您通过将查询拆分为术语所做的):Lucene 会做得更好(特别是 WhitespaceTokenizerFactory、ASCIIFoldingFilterFactory 和 LowercaseFilterFactory)。
长答案:
通配符查询作为一次性问题的快速简便的解决方案非常有用,但它们不是很灵活,而且很快就会达到极限。特别是,正如@femtoRgon 所提到的,这些查询不会被分析(至少not completely, and not with every backend),因此例如大写查询不会匹配小写名称。
Lucene/Elasticsearch 世界中大多数问题的经典解决方案是在索引时和查询时使用特制的分析器(不一定相同)。在您的情况下,您将需要使用这种分析器(一个用于索引,一个用于搜索):
Lucene:
public class MyAnalysisConfigurer implements LuceneAnalysisConfigurer {
@Override
public void configure(LuceneAnalysisConfigurationContext context) {
context.analyzer( "autocomplete_indexing" ).custom()
.tokenizer( WhitespaceTokenizerFactory.class )
// Lowercase all characters
.tokenFilter( LowerCaseFilterFactory.class )
// Replace accented characters by their simpler counterpart (è => e, etc.)
.tokenFilter( ASCIIFoldingFilterFactory.class )
// Generate prefix tokens
.tokenFilter( EdgeNGramFilterFactory.class )
.param( "minGramSize", "1" )
.param( "maxGramSize", "10" );
// Same as "autocomplete-indexing", but without the edge-ngram filter
context.analyzer( "autocomplete_search" ).custom()
.tokenizer( WhitespaceTokenizerFactory.class )
// Lowercase all characters
.tokenFilter( LowerCaseFilterFactory.class )
// Replace accented characters by their simpler counterpart (è => e, etc.)
.tokenFilter( ASCIIFoldingFilterFactory.class );
}
}
弹性搜索:
public class MyAnalysisConfigurer implements ElasticsearchAnalysisConfigurer {
@Override
public void configure(ElasticsearchAnalysisConfigurationContext context) {
context.analyzer( "autocomplete_indexing" ).custom()
.tokenizer( "whitespace" )
.tokenFilters( "lowercase", "asciifolding", "autocomplete_edge_ngram" );
context.tokenFilter( "autocomplete_edge_ngram" )
.type( "edge_ngram" )
.param( "min_gram", 1 )
.param( "max_gram", 10 );
// Same as "autocomplete_indexing", but without the edge-ngram filter
context.analyzer( "autocomplete_search" ).custom()
.tokenizer( "whitespace" )
.tokenFilters( "lowercase", "asciifolding" );
}
}
索引分析器会将“Mauricio Ubilla Carvajal”转换为以下标记列表:
- 米
- 马
- 毛
- 毛尔
- 毛里
- 莫瑞克
- 毛里奇
- 毛里西奥
- 你
- ub
- ...
- 乌比拉
- c
- 加州
- ...
- 卡瓦哈尔
查询分析器会将查询“mau UB”转换为[“mau”,“ub”],这将匹配索引名称(两个标记都存在于索引中)。
请注意,您显然必须将分析器分配给该字段。
在 Hibernate Search 6 中,这很容易,就像您可以 assign a searchAnalyzer to a field 一样,与索引分析器分开:
@FullTextField(analyzer = "autocomplete_indexing", searchAnalyzer = "autocomplete_search")
然后您就可以轻松地使用simpleQueryString predicate 进行搜索:
List<Patient> hits = searchSession.search( Patient.class )
.where( f -> f.simpleQueryString().field( "fullName" )
.matching( "mau + UB" ) )
.fetchHits( 20 );
或者,如果您不需要额外的语法和运算符,match predicate 应该这样做:
List<Patient> hits = searchSession.search( Patient.class )
.where( f -> f.match().field( "fullName" )
.matching( "mau UB" ) )
.fetchHits( 20 );
Hibernate Search 5 的原始答案
简答:不要使用通配符查询,使用带有EdgeNGramFilterFactory 的自定义分析器。此外,不要尝试自己分析查询(这就是您通过将查询拆分为术语所做的):Lucene 会做得更好(特别是 WhitespaceTokenizerFactory、ASCIIFoldingFilterFactory 和 LowercaseFilterFactory)。
长答案:
通配符查询作为一次性问题的快速简便的解决方案非常有用,但它们不是很灵活,而且很快就会达到极限。特别是,正如@femtoRgon 所提到的,这些查询不会被分析,因此大写查询不会匹配小写名称。
Lucene 世界中大多数问题的经典解决方案是在索引时和查询时使用特制的分析器(不一定相同)。在您的情况下,您将希望在索引时使用这种分析器:
@AnalyzerDef(name = "edgeNgram",
tokenizer = @TokenizerDef(factory = WhitespaceTokenizerFactory.class),
filters = {
@TokenFilterDef(factory = ASCIIFoldingFilterFactory.class), // Replace accented characeters by their simpler counterpart (è => e, etc.)
@TokenFilterDef(factory = LowerCaseFilterFactory.class), // Lowercase all characters
@TokenFilterDef(
factory = EdgeNGramFilterFactory.class, // Generate prefix tokens
params = {
@Parameter(name = "minGramSize", value = "1"),
@Parameter(name = "maxGramSize", value = "10")
}
)
})
查询时还有这种:
@AnalyzerDef(name = "edgeNGram_query",
tokenizer = @TokenizerDef(factory = WhitespaceTokenizerFactory.class),
filters = {
@TokenFilterDef(factory = ASCIIFoldingFilterFactory.class), // Replace accented characeters by their simpler counterpart (è => e, etc.)
@TokenFilterDef(factory = LowerCaseFilterFactory.class) // Lowercase all characters
})
索引分析器会将“Mauricio Ubilla Carvajal”转换为以下标记列表:
- 米
- 马
- 毛
- 毛尔
- 毛里
- 莫瑞克
- 毛里奇
- 毛里西奥
- 你
- ub
- ...
- 乌比拉
- c
- 加州
- ...
- 卡瓦哈尔
查询分析器会将查询“mau UB”转换为[“mau”,“ub”],这将匹配索引名称(两个标记都存在于索引中)。
请注意,您显然必须将分析器分配给该字段。对于索引部分,使用@Analyzer annotation 完成。
对于查询部分,您必须在查询生成器上使用overridesForField,如here 所示:
QueryBuilder queryBuilder = fullTextEntityManager.getSearchFactory().buildQueryBuilder().forEntity(Hospital.class)
.overridesForField( "name", "edgeNGram_query" )
.get();
// Then it's business as usual
还要注意,在 Hibernate Search 5 中,Elasticsearch 分析器定义只有在实际分配给索引时才会由 Hibernate Search 生成。因此,默认情况下不会生成查询分析器定义,并且 Elasticsearch 会抱怨它不知道分析器。这是一个解决方法:https://discourse.hibernate.org/t/cannot-find-the-overridden-analyzer-when-using-overridesforfield/1043/4?u=yrodiere