识别 googlebot 的最佳方法答案

【问题标题】：Best way to identify googlebot识别 googlebot 的最佳方法
【发布时间】：2011-12-14 19:46:34
【问题描述】：

识别 Googlebot 抓取工具的最可靠、最快捷的方法是什么？ rDNS 可以被欺骗，因此 googlebot ip 列表看起来是最可靠的方法。是否有任何站点/资源可以获取实际的 googlebot ips？欢迎任何其他想法。

【问题讨论】：

【解决方案1】：

Google bot 使用以下范围 -

【讨论】：

【解决方案2】：

如果您真的想对 IP 进行硬编码（我不推荐它，因为它可以随时更改，恕不另行通知），有一个可用的列表 here。我会推荐（以及推荐on Goggle Webmaster's blog）是你做一个反向DNS，然后一个正向DNS 来验证这一点。这应该始终有效，并且不能被欺骗。

【讨论】：