如何只允许爬虫访问网站的一部分？

Question

我有一个 ajax 丰富的网站，其中包含大量用于 Ajax 索引的 _escaped_fragment_ 部分。虽然我所有的 _escaped_fragment_ url 都会 301 重定向到一个特殊模块，然后输出爬虫所需的 HTML 快照（即 mysite.com/#!/content 重定向到 mysite.com/?_escaped_fragment_=/content，然后 301s 到 mysite.com/raw/content），我有点害怕用户绊倒这些“原始” URL 本身并使它们出现在搜索引擎中。

在 PHP 中，我如何确保只有机器人可以访问网站的这一部分？ （很像 StackOverflow 不允许普通用户访问其站点地图，只允许机器人访问它）

Answer 1

你不能，至少不可靠。

robots.txt 要求蜘蛛将网站的某些部分排除在外，但对于普通用户代理来说没有等效的。

您最接近的方法是尝试保留可接受的 IP 地址或用户代理的白名单，并据此提供不同的内容……但这可能会导致误报。

就我个人而言，我会停止迎合旧版 IE，放弃 #! URI 和 escaped_fragment hack，改用 pushState and friends，并让服务器为任何给定页面构建初始视图。