HebMorph 与 solr：如何使用停用词

Question

我正在开发一个应用程序，该应用程序支持使用“solr”引擎对多语言文本（包括希伯来语）进行索引和搜索。

经过大量搜索，我发现 HebMorph 是用于希伯来语的最佳插件

我的问题是带有希伯来语停用词的 HebMorph 的行为似乎与 solr 不同：

• 使用 solr（任何语言）：当我搜索停用词时，返回的结果不包括查询中存在的任何停用词。

• 而当我搜索希伯来语术语时（在this link 之后将 HebMorh 插入 solr 后，返回的结果包括查询中所有现有的停用词。

1) 这是 HebMorph 的正常行为吗？如果是，我该如何改变它？如果不是，我应该改变什么？

2) 由于 HebMorph 不支持同义词，（正如我在他们的文档中读到的那样，这是一项未来的工作）。有没有办法以 solr 支持的方式将希伯来语的同义词用作其他语言？ （即通过在 solrconfig 中添加适当的过滤器并指出同义词文件）？

提前感谢您的帮助。

Answer 1

我是 HebMorph 的作者。

确实支持停用词，但您需要在词形还原器启动之前将它们过滤掉。假设最近版本的 HebMorph - 您的停用词过滤器需要在标记器之后立即进入，这意味着它还需要注意 בחל "מ 附加到停用词的字母。

现在对于所有语言的一般建议是不要删除停用词 - 至少不要在索引中，所以我建议不要在这里应用停用词过滤器。

关于同义词 - 根本问题在于 HebMorph lemmatizer 有时会将一个词扩展为多个词元，这使得应用同义词的工作更具挑战性。使用（相对）新的基于图形的分析器，现在可以做到这一点，因此我们可能也会实现这一点，并且 Lucene 的同义词过滤器将支持 OOTB。

在商业版本中，已经有一种自定义单词列表和覆盖字典定义的方法，这在希伯来语等模棱两可的语言中很有用。许多人将其用作创建同义词的方式。