加快 WordNet lemmatizer for Java 的使用

Question

另一个问题与此类似，但它使用不同的编程语言，似乎解决了一个相关但不相同的问题。 Is it possible to speed up Wordnet Lemmatizer?

我们正在对文本中的大量单词进行词干提取，如图所示，代码仅使用词干提取就花费了 90% 以上。

当我们稍微阅读代码并分析代码时，wordNet 似乎实际上是在读取文件时，它占用了大部分代码执行时间！有没有办法通过使用数据库而不是文件读取来支持词干提取过程的数据或将所有必要的内容加载到内存并忽略文件来提高性能？或者在词干提取过程中添加一些缓存？

是否有一些易于插入的工具来代替行阅读？

在此处查看行阅读分析：

如您所见，汇总文件读取占用了高达 62% 的运行时间。

Answer 1

可以使用 MapBackedDictionary 或 DatabaseBackedDictionary 代替 FileBackedDictionary。

我描述了我是如何成功使用 MapBackedDictionary 运行的。

需要使用 jwnl 实用程序。如果你打开 WordNet 项目，你可以使用他们的类 DictionaryToMap.java main 方法将你现有的字典文件夹转换为地图文件夹。

之后，您可以创建一个类似于之前用于 FileBackedDictionary 的 file_properties.xml 的 map_properties.xml 文件。这次标签会有所不同。我在这里发布了我的示例 xml，这对我来说效果很好。

<?xml version="1.0" encoding="UTF-8"?>
<jwnl_properties language="en">
<version publisher="Princeton" number="3.0" language="en"/>
<dictionary class="net.didion.jwnl.dictionary.MapBackedDictionary">
    <param name="morphological_processor" value="net.didion.jwnl.dictionary.morph.DefaultMorphologicalProcessor">
        <param name="operations">
            <param value="net.didion.jwnl.dictionary.morph.LookupExceptionsOperation"/>
            <param value="net.didion.jwnl.dictionary.morph.DetachSuffixesOperation">
                <param name="noun" value="|s=|ses=s|xes=x|zes=z|ches=ch|shes=sh|men=man|ies=y|"/>
                <param name="verb" value="|s=|ies=y|es=e|es=|ed=e|ed=|ing=e|ing=|"/>
                <param name="adjective" value="|er=|est=|er=e|est=e|"/>
                <param name="operations">
                    <param value="net.didion.jwnl.dictionary.morph.LookupIndexWordOperation"/>
                    <param value="net.didion.jwnl.dictionary.morph.LookupExceptionsOperation"/>
                </param>
            </param>
            <param value="net.didion.jwnl.dictionary.morph.TokenizerOperation">
                <param name="delimiters">
                    <param value=" "/>
                    <param value="-"/>
                </param>
                <param name="token_operations">
                    <param value="net.didion.jwnl.dictionary.morph.LookupIndexWordOperation"/>
                    <param value="net.didion.jwnl.dictionary.morph.LookupExceptionsOperation"/>
                    <param value="net.didion.jwnl.dictionary.morph.DetachSuffixesOperation">
                        <param name="noun" value="|s=|ses=s|xes=x|zes=z|ches=ch|shes=sh|men=man|ies=y|"/>
                        <param name="verb" value="|s=|ies=y|es=e|es=|ed=e|ed=|ing=e|ing=|"/>
                        <param name="adjective" value="|er=|est=|er=e|est=e|"/>
                        <param name="operations">
                            <param value="net.didion.jwnl.dictionary.morph.LookupIndexWordOperation"/>
                            <param value="net.didion.jwnl.dictionary.morph.LookupExceptionsOperation"/>
                        </param>
                    </param>
                </param>
            </param>
        </param>
    </param>
    <param name="dictionary_element_factory" value="net.didion.jwnl.data.MapBackedDictionaryElementFactory"/>
    <param name="file_type" value="net.didion.jwnl.princeton.file.PrincetonObjectDictionaryFile"/>
    <param name="dictionary_path" value="path\to\wordnetMap\"/>
</dictionary>
<resource class="PrincetonResource"/>
</jwnl_properties>

注意wordnetMap的路径——用前面提到的方法把它设置到你输出字典转换的地方。

不要忘记使用新的属性文件初始化 JWNL。 MapBackedDictionary 最初的加载时间会更长，但性能提升非常快。