Lucene：没有停用词的搜索不会返回结果

Question

我使用的是 Lucene.net 3.0.3，但我不明白停用词在查询中应该如何工作。

我有这个文本作为输入：Stop the word

我使用 StandardAnalyzer(Version.LUCENE_30) 进行索引和查询。索引有一个字段Title

该字段设置为存储和分析。我也玩过不同的 TermVector。 对于查询解析，我使用简单的 QueryParser.Parse 和

这是问题：

• 查询Title:stop the word 返回文档 - 这很好
• Title:stop word 的查询不返回文档 - 我期待它，因为停用词已从索引中删除。

然后我切换到 LUCENE_24 并且第二个查询实际上返回了文档。

我知道停用词已从索引中删除，并且可能从查询中删除，但似乎我缺少一些基本内容。

Answer 1

虽然在分析过程中确实删除了这个词，但似乎 2.9 之后的默认行为是启用位置增量。因此，虽然单词被删除并且不会对分数做出贡献，但在短语查询中，预计“stop”和“word”之间将有一个（删除的）术语。在 Lucene 2.4 中，这个功能已经存在，但默认是关闭的。你可以在StopFilter.getEnablePositionIncrementsVersionDefault的实现中看到这一点：

public static boolean getEnablePositionIncrementsVersionDefault(Version matchVersion) {
    return matchVersion.onOrAfter(Version.LUCENE_29);
}

例如，如果您尝试搜索“stop into word”，我希望您会看到 3.0 版的热门搜索。

PositionIncrementAttribute documentation 简要地给出了这个想法：

将其设置为大于 1 的值以禁止精确的短语匹配。例如，如果不希望短语在移除的停用词之间匹配，那么可以构建一个停用词过滤器来移除停用词，并将增量设置为在每个非停用词之前移除的停用词的数量。然后，只有在没有插入停用词的术语出现时，才会匹配精确的短语查询。