用于限制 Google Search Appliance 机器人 (gsa) 的 HTTP 响应代码

Question

应该使用什么 HTTP 响应代码来限制行为不端的网络爬虫：

• 403 Forbidden
• 503 Service Unavailable

是否应该在标题或正文中返回任何解释？

Answer 1

其实推荐的(RFC6585)http状态是429 Too Many Requests。例如，它用于Twitter REST API Rate Limiter。

但是，如果您 flood it with requests，GSA 将在内部 return 503 Service Unavailable，因此 IMO 可以安全地假设它也期望外部站点以相同的方式运行。

我选择了503 Service Unavailable 我的节流解决方案。