如何防止 Googlebot 压倒网站？答案

【问题标题】：How to prevent Googlebot from overwhelming site?如何防止 Googlebot 压倒网站？
【发布时间】：2009-08-25 13:55:49
【问题描述】：

我正在一个中间的专用服务器上运行一个内容很多但流量很少的网站。

有时，Googlebot 会踩踏我们，导致 Apache 耗尽其内存，并导致服务器崩溃。

我怎样才能避免这种情况？

【问题讨论】：

这可能根本不是 Google。识别违规机器人的 IP 地址并进行反向查找。检查它是否解析到谷歌的域。我见过使用 Googlebot 用户代理的攻击性很强的机器人。

【解决方案1】：

【讨论】：

我在nginx.conf 中添加了一个条件，还为GoogleBot User-agent: AhrefsBot Disallow: / 添加了robots.txt 代理，但这不会；这个其他机器人将被排除在外

【解决方案2】：

您可以使用 Google 的网站管理员工具设置抓取您的网站的方式。具体看看这个页面：Changing Google's crawl rate

您还可以使用 robots.txt 文件限制 google bot 搜索的页面。 crawl-delay 有一个可用的设置，但 google 似乎是 not honored。

【讨论】：

【解决方案3】：

使用 Google 网站管理员工具注册您的网站，该工具可让您设置 googlebot 尝试为您的网站编制索引的频率和每秒请求数。 Google 网站管理员工具还可以帮助您创建 robots.txt 文件以减少您网站的负载

【讨论】：

【解决方案4】：

请注意，您可以通过 Google 网站管理员工具（在“网站设置”下）设置抓取速度，但它们仅支持六个月的设置！所以你必须每六个月登录一次才能重新设置。

此设置已在 Google 中更改。该设置现在仅保存 90 天（3 个月，而不是 6 个月）。

【讨论】：

【解决方案5】：

您可以在谷歌的站长工具中配置抓取速度。

【讨论】：

【解决方案6】：

限制抓取速度：

新的抓取速度有效期为 90 天。

【讨论】：