【问题标题】:SolrCloud DIH performanceSolrCloud DIH 性能
【发布时间】:2017-06-06 12:12:00
【问题描述】:
在 SolrCloud 中运行 Solr 6.4.2,对索引性能有些疑问。
我使用 MSSql 作为数据源和最新的 MSSQL JDBC 驱动程序。
当 Solr 作为独立启动时,我的 DataImport 以 31250 docs/s 的速度运行
当 Solr 作为 SolrCloud(2 个副本)启动时,我的 DataImport 以 10000 docs/s 的速度运行
是否有任何配置参数对此有影响?
【问题讨论】:
标签:
performance
solr
solrcloud
dih
【解决方案1】:
预计 SolrCloud 中的索引会比独立 Solr 中的索引慢(它也必须索引到副本中,因此会有额外的网络流量和延迟,而且 SolrCloud 还必须做其他事情),但是你可以做一些事情来确保它尽可能快:
- 您可以对索引进行分片。索引到多个分片应该更快(测试差异。数字,在某些时候它会太多,所以不要发疯)
- 将您的文档发送给分片负责人。索引首先在领导者处完成,因此如果您向领导者发送文档,您将节省一些网络流量。当然,如果您使用 DIH,您将无法控制。除非您自定义 DIH 设置并拥有多个处理程序,否则每个处理程序只会索引分片的文档,并且您会调用分片节点上的每个处理程序。