在 Lucene 中索引令牌二元组

Question

我需要在 Lucene 中索引双元词（标记）。我可以生成 n-gram 并将它们编入索引，但我想知道 Lucene 中是否有一些东西可以为我做这件事。 我发现 Lucene 只索引 n-gram 的字符。 有什么想法吗？

Answer 1

使用 NGramTokenizer：

http://lucene.apache.org/java/2_3_2/api/contrib-analyzers/org/apache/lucene/analysis/ngram/NGramTokenizer.html

Answer 2

您要查找的类是 ShingleFilter：http://lucene.apache.org/java/2_4_0/api/org/apache/lucene/analysis/shingle/ShingleFilter.html

Answer 3

根据您需要索引二元语法的原因，SpanQuery 和/或 SnowballAnalyzer 可能会有所帮助。