【发布时间】:2015-04-27 14:20:15
【问题描述】:
我正在寻找类似 Solr 中的搜索和替换功能。
我已经将一个文档转储到 solr 中,并对其进行了一些文本分析。有时我可能需要将几个单词组合在一起,并希望 solr 将其视为一个单独的标记。
例如:“南非”将被视为一个单一的令牌以进行进一步处理。还要注意,这些可以是动态的,我会让最终用户决定他/她必须对哪些词进行分组。所以不需要语义。
我目前的计划是在这两个单词之间添加一个特殊字符,以便 Solr 将其视为一个单独的令牌 (StandardTokenizerFactory) 以进行进一步处理。
所以我正在寻找类似的东西:
replace("South Africa",South_Africa")
谁能有解决办法?
【问题讨论】:
-
我猜你需要 WordNet 和其他自然语言技术(词性)来“理解”标记。我对可以理解单词的过滤器感兴趣(例如,区分“IT 经理”和“正在下雨”中的“它”)