具有多个词组的 Lucene.Net SynonymFilter

Question

我正在使用 Lucene.net 并尝试实施 SynonymFilter 以在我的产品数据库中的项目可以以不同方式命名或拼写不同时提供扩展术语 - 例如。 “扳手”>“扳手”，或“割草机”>“割草机”。

作为测试，我设置了一个 SynonymMap 如下：

String base1 = "lawnmower";
String syn1 = "lawn mower";
String base2 = "spanner";
String syn2 = "wrench";

SynonymMap.Builder sb = new SynonymMap.Builder(true);
sb.Add(new CharsRef(base1), new CharsRef(syn1), true);
sb.Add(new CharsRef(base2), new CharsRef(syn2), true);
SynonymMap smap = sb.Build();

搜索“spanner”或“wrench”会返回所有包含其中任何一个词的词。搜索“lawn mower”或“lawnmower”只会返回与输入搜索条件完全匹配的词。

对于同义词中的多个单词短语是否需要做其他事情？

另外，我如何扩展为 3 个或更多术语，例如“割草机”、“割草机”、“割草机”、“割草机”？

谢谢

Answer 1

单元测试中有an example 的多词同义词。您必须自己拆分单词并在它们之间插入SynonymMap.WORD_SEPARATOR（空字符）。为了让这更容易，SynonymMap.Builder 上有一个 Join 方法。

String base1 = "lawnmower";
String syn1 = "lawn mower";

SynonymMap.Builder sb = new SynonymMap.Builder(true);
CharsRef syn1Chars = sb.Join(Regex.Split(syn1, " +"), new CharsRef());
sb.Add(new CharsRef(base1), syn1Chars, true);
SynonymMap smap = sb.Build();

这是一种快速解决此问题的扩展方法。

public static class SynonymMapBuilderExtensions
{
    private static Regex Space = new Regex(" +", RegexOptions.Compiled);

    public static void AddPhrase(this SynonymMap.Builder builder, string input, 
        string output, bool keepOrig)
    {
        CharsRef outputRef = builder.Join(Space.Split(output), new CharsRef());
        builder.Add(new CharsRef(input), outputRef, keepOrig);
    }
}

然后，无论同义词是否包含空格，您都可以使用此扩展方法，并且如果您在代码中的其他任何地方都不需要它们，则不必费心创建 CharsRef 对象。

String base1 = "lawnmower";
String syn1 = "lawn mower";
String base2 = "spanner";
String syn2 = "wrench";

SynonymMap.Builder sb = new SynonymMap.Builder(true);
sb.AddPhrase(base1, syn1, true);
sb.AddPhrase(base2, syn2, true);
SynonymMap smap = sb.Build();