达到由机器人流量 ERR_CONNECTION_TIMED_OUT 导致的 MaxRequestWorkers 限制

Question

我有一个 ERR_CONNECTION_TIMED_OUT 并且网站在大约 1.5 小时的时间范围内几次关闭了几分钟，这是我在日志中发现的：

[Mon May 21 11:21:51.236380 2018] [mpm_worker:error] [pid 3206:tid 140035442734330] AH00287: server is within MinSpareThreads of MaxRequestWorkers, consider raising the MaxRequestWorkers setting

我去/etc/apache2/conf/httpd.conf发现了这个：

MaxRequestWorkers [The number specified for my server]

我昨天刚刚更换了服务器，这是网络专家关于问题原因的一种理论：

由于流量类型，服务器正在达到 maxworkers 进来，这是机器人流量。 BingBot 和 Googlebot 正在抓取 再次访问您的站点，可能是因为新服务器。您可以管理 这些机器人的抓取速度，因此它们在任何给定的情况下都要求如此之多 时间。

这是一个合理的解释吗？我觉得这很难相信。

编辑 1：听起来像是 Google 执行的拒绝服务 (DDoS) 攻击！

Answer 1

甚至有文章谈论机器人流量如何影响网站：

• http://support.hostgator.com/articles/specialized-help/telling-google-how-often-to-crawl-your-website
• https://support.google.com/webmasters/answer/48620?hl=en
• http://support.hostgator.com/articles/specialized-help/telling-bing-how-often-to-crawl-your-website
• http://support.hostgator.com/articles/hosting-guide/lets-get-started/how-to-use-robots-txt
• http://support.hostgator.com/articles/specialized-help/technical/apache-htaccess/user-agent-blocks-mainly-for-bots

我不确定机器人流量是否真的是我的问题的原因，但错误消息包含这部分：consider raising the MaxRequestWorkers setting。这就是我所做的，现在一切似乎都正常了。

重要提示：如果您这样做，请不要忘记阅读https://httpd.apache.org/docs/current/mod/mpm_common.html 并记住，如果您增加 MaxRequestWorkers，则必须相应地增加 ServerLimit。文档解释了这一点。