为 Solr 索引长字符串答案

【问题标题】：Indexing long length of String for Solr为 Solr 索引长字符串
【发布时间】：2016-05-11 09:16:54
【问题描述】：

我有一个字符串类型的数据，它包含 26357 个长度。使用 SolrJ 对上述数据进行索引时，会出现如下错误。（在我的个人测试中，它在 14000 长度的字符串中运行良好）

错误消息：（我的本地主机）服务器出错将文档 ID 5ba59584a96fef13 写入索引的异常；可能的分析错误。

这是我的问题： 如果我为我的 solr 增加 Java 堆内存，是否可以解决上述问题？或者是否有任何用于索引长文本的配置？

请参考我的架构文件如下，我的 Solr 版本是 5.2.1。

 <field name="description" type="text_general" indexed="true" stored="false" required="false" />


  <fieldType name="text_general" class="solr.TextField" positionincrementGap="100">
   <analyzer type="index">
   <tokenizer class= "...">
   <filter class="...">
   <filter class="solr.LimitTokenCountFilterFactory" maxTokenCount="300000"/>
   </analyzer>
   <analyzer type="query">
    ..
    ..
    ..
   <filter class="solr.LimitTokenCountFilterFactory" maxTokenCount="300000"/>
    </analyzer>
    <fieldType>

【问题讨论】：

标签： java solr solrj

【解决方案1】：

试试这个过滤器来处理大长度的字符串。提及您的字符串的最大长度值

<filter class="solr.LengthFilterFactory" min="2" max="7"/>

如果您正在尝试使用令牌计数过滤器从索引和查询分析器中删除过滤器LimitTokenCountFilterFactory 应该可以解决问题。

【讨论】：