【问题标题】:SolrNet: Can size of the synonym.txt file be an issue while indexing?SolrNet:synonym.txt 文件的大小在索引时会成为问题吗?
【发布时间】:2012-01-24 21:21:40
【问题描述】:

我的索引最初运行良好。然后,我将架构更改为在索引时使用 SynonymFilterFactory。我的 synonym.txt 文件是 1.27MB。从那时起,每当我尝试使用同义词重新索引时,我都会随机收到“请求被中止:请求被取消”。错误。

有些项目被编入索引而有些没有被编入索引,这很奇怪。我只是无法弄清楚问题是什么。唯一的区别是 Synonymfilter 的使用。 synonym.txt 的格式很好。由于几乎所有项目都会在引发错误之前获得索引,因此我不能说架构有问题。

那么 synonym.txt 的大小会导致索引时出错吗?任何提示,建议将不胜感激。

【问题讨论】:

    标签: solr indexing solrnet synonym


    【解决方案1】:

    该错误表示 SolrNet 在向 Solr 发送文档时超时。如果您在索引时扩展同义词,则同义词文件很大这一事实是相关的(您可以在查询时进行,或者甚至两者都这样做),因为 Solr 分析输入数据需要更长的时间。

    不过,我怀疑 single 文档会超时。如果是这样,您唯一能做的就是增加超时时间。如果您一次发送多个文档(很可能),您将不得不减少一次发送的文档数量,即发送更多但更小批量的文档。

    【讨论】:

    • 谢谢 Mauricio,我怀疑这一点。我试图用 1.27 MB 的同义词文本文件索引大约 13K 文档,参数“expand”设置为 true,一次调用。当我将代码更改为索引单个文档时,它工作得很好。
    • @Raza:一次索引一个文档会很慢。您可能想一次尝试 500-1000 个文档。
    • 是的,这正是我正在做的。单文档索引只是为了测试我的配置/代码等是否有问题。谢谢!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2010-11-24
    • 1970-01-01
    相关资源
    最近更新 更多