【问题标题】:Are there any Lucene stemmers that handle Shakespearean English?是否有任何处理莎士比亚英语的 Lucene 词干分析器?
【发布时间】:2015-09-12 10:54:16
【问题描述】:

我正在尝试索引一些旧文档以进行搜索 - 16、17、18 世纪。

现代词干分析器似乎无法处理过时的词尾:worketh、liveth、walketh。

从莎士比亚和钦定版圣经开始,是否有专门研究英语的词干分析器?我目前正在使用solr.PorterStemFilterFactory

【问题讨论】:

  • 你知道任何在线可用的字典文件可以使用那个古英语吗?
  • The DOA 读起来不错,但正在进行中(截至 2015 年)。
  • @cheffe 我没有,但假设我做到了。有没有办法使用 Solr/Lucene 从字典文件中制作词干分析器?
  • 是的,对于 Solr,HunspellStemFilterFactory 或者如果您正在使用 Lucene,则 HunspellStemFilter 本身。

标签: solr lucene nlp stemming


【解决方案1】:

它看起来像 rule changes are minimal

因此,可以复制/修改PorterStemmer 类和相关的工厂/过滤器。

或者可以在 Porter 之前将这些特定规则添加为正则表达式过滤器。

【讨论】:

    猜你喜欢
    • 2017-09-28
    • 1970-01-01
    • 2013-08-07
    • 2012-02-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-06-12
    • 1970-01-01
    相关资源
    最近更新 更多