在 SOLR 中索引和查询的最佳令牌分析器答案

【问题标题】：best token analyzer to index and query in SOLR在 SOLR 中索引和查询的最佳令牌分析器
【发布时间】：2013-05-29 02:55:45
【问题描述】：

我在数据库中有一个 c++ 代码存储库，并希望在 SOLR 中对其进行索引。我应该在 SOLR 中用于索引和稍后查询的最佳令牌分析器是什么？

我尝试了几种不同的标记分析器，并正在考虑设置架构以按空格、句点、其他特殊字符等分隔。

有没有更好的方法来索引这样的代码？

【问题讨论】：

这完全取决于您期望如何搜索/查找内容。当有人搜索你好时，你要不要找到hello++，你好； !hello, (hello) 等。一旦你有了定义，你就会更容易想出要使用的分析器。

标签： solr

【解决方案1】：

我会从一个简单的配置开始，然后根据任何特定需求进一步添加：-

<fieldType name="text" class="solr.TextField">
    <analyzer>
        <tokenizer class="solr.WhitespaceTokenizerFactory"/>
        <filter class="solr.StopFilterFactory ... "/>       
        <filter class="solr.LowerCaseFilterFactory"/>    
    </analyzer>
</fieldType>

WhitespaceTokenizerFactory - Whitespace Tokenizer 用于打破空白处的标记
StopFilterFactory - 停止过滤以删除源代码中的常用术语，这些术语将出现在所有文件中。
LowerCaseFilterFactory - 小写使搜索案例独立。

【讨论】：