查找 solr 性能问题的工具答案

【问题标题】：Tools for finding solr performance issues查找 solr 性能问题的工具
【发布时间】：2019-05-02 13:38:22
【问题描述】：

我有一个 solr 服务器，它随机遇到性能问题。导致较长 qtime 的查询，如果我再次尝试这些查询，请不要花费相同的时间。当服务器负载不高时，有时甚至会出现性能问题。

所以我想知道是否有任何可用的工具，或者 solr 中是否有任何选项可用于查明导致性能问题的问题。

solrconfig.xml中用到的一些参数是-

<filterCache class="solr.LRUCache" size="1024" initialSize="512" autowarmCount="1000"/>
<queryResultCache class="solr.LRUCache" size="512" initialSize="128" autowarmCount="0"/>
<documentCache class="solr.LRUCache" size="1024" initialSize="512" autowarmCount="0"/>
<enableLazyFieldLoading>true</enableLazyFieldLoading>
<queryResultWindowSize>30</queryResultWindowSize>
<queryResultMaxDocsCached>100</queryResultMaxDocsCached>
<HashDocSet maxSize="10000" loadFactor="0.75"/>

【问题讨论】：

我们在服务器上使用三重显示器支架工具时遇到了同样的情况。它在使用时发生了巨大的内存泄漏。它几乎造成了瓶颈效应。您需要这些工具，但它大大减慢了速度。我还建议使用实用程序调试磁盘来解决这些问题。

标签： solr performance

【解决方案1】：

我认为您应该从查看Solr Performance Factors on the Solr Wiki 开始。您还可以使用工具 SolrMeter 来帮助对您的更改进行压力测试。

【讨论】：

【解决方案2】：

如果您正在寻找长期监控，您还可以查看我公司、Sematext 或其他公司提供的可扩展性能监控 (SPM) 等工具/服务。 http://sematext.com/spm/index.html

此服务将公开请求率、延迟、所有 Solr 缓存信息、JVM 内存、GC、CPU、负载、磁盘和网络 IO 等。

我们吃自己的狗粮，并使用此工具来监控 search-lucene.com 和 search-hadoop.com/ 后面的 Solr 实例的 Solr 性能，当我们需要帮助客户提高 Solr 性能时，我们会定期与客户一起使用它调音。

如果您不想像上面那样“正确”监控性能，那么您可以使用 vmstat、iostat、sar、top、jstack 等工具对 Solr 性能进行故障排除，假设您在 UNIX 下运行它。

【讨论】：

这些天我没有使用 solr，但这似乎是一个很好的工具，它提供了广泛的监控功能。
我们的solr服务驻留在本地，SPM好像还不能监控？是否有可以在本地下载和设置的工具来监控我们的本地服务？

【解决方案3】：

sysstat 软件包中的“sar”实用程序非常适合调试磁盘 IO 问题。如果您注意到任何特定磁盘的利用率持续超过 30% 左右，那么您可能受到 IO 限制。

【讨论】：

【解决方案4】：

也许这个工具可以帮助你：LucidGaze。

我没有这方面的经验，但它看起来很有希望。 Lucid 的人也发表了一些有趣的文章，非常值得一读。

【讨论】：

【解决方案5】：

我通过同时向 solr 服务器发出多个请求对应用程序进行了压力测试（请求由后续 wget 完成）

我们开始看到性能影响并将我们的问题缩小到两个原因：

缓存大小太小，因此缓存中发生的驱逐和插入太多。
我们使用的是 solrversion1.3，它显然对索引文件使用了阻塞读取。切换到 solr 1.4 消除了这个问题，因为它使用 java nio，它使用索引文件的非阻塞读取。

[我们也尝试将索引文件放入 ram 中并直接从那里使用，这提高了性能（但显然不可扩展）]

【讨论】：

【解决方案6】：

我经历了一年多的SOLR内存泄漏，不得不回收服务器五天来解决问题，最终我发现监控工具RELIC导致了问题，我们删除了监控和问题已解决，因此我的建议是在使用太多监控工具时要小心，这会增加性能开销。

【讨论】：