我的网站是否受到攻击/垃圾邮件？

Question

我的网站每天多次出现 503 Service Unavailable 错误。有时它会为特定请求提供请求时间限制。

我的网站因为繁忙而没有收到大量流量。

跟踪错误日志显示了很多错误请求，有时是 503 或 500。几个月前不是这样。网站的代码/设置/设计未进行任何更改。

我发现了一些追踪到 +Ahrefsbot 和 Googlebot 网络爬虫的日志，所以我怀疑它对我的网站的爬取速度太快了。我无法阻止它们，因为它们来自不同的 IP 地址。

请帮忙

我的网站托管在networksolutions下，因此我无法执行任何修改或分析我的网站背后的内容（服务器端）

Answer 1

如果您确定是爬虫导致了您的问题，您可以尝试使用/robots.txt 文件。 你可以learn more about it here，但是要完全阻止他们使用这个：

User-agent: *
Disallow: /

您可以通过谷歌网站管理员工具adjust Google's crawl rate。 有一个现有的答案 here 在处理 Google 的机器人时应该会有所帮助。

也就是说，我真的怀疑是机器人导致的流量高峰大到足以让您下线。尝试分析您的日志以查看实际原因是什么。也许您使用的内存超出了主机允许的范围。