漫游器和 301 重定向答案

【问题标题】：bots and 301 redirect漫游器和 301 重定向
【发布时间】：2026-01-09 19:20:05
【问题描述】：

我在 6 个多月前更改了我网站的 URL 结构。我检测到旧 URL 的使用并使用 301 状态代码重定向到新 URL。我用 flidder 验证了状态码是根据请求正确返回的。但机器人（yahoo slurps、googlebot 等）仍在访问旧 URL。有什么我想念的吗？

【问题讨论】：

标签： http-status-code-301 bots

【解决方案1】：

不，只是爬虫需要非常非常长的时间才能获取消息。我有机器人抓取自 2005 年以来不存在的地址 - 当人们一直在谈论地址是永久性的时，它们确实是。

此外，根据您的 URL 的结构，您可以使用 robots.txt 禁止旧地址

【讨论】：

【解决方案2】：

试试这个，这只会重定向到机器人。

if (preg_match("#(google|slurp@inktomi|yahoo! slurp|msnbot)#si", $_SERVER['HTTP_USER_AGENT'])) {
    header("HTTP/1.1 301 Moved Permanently");
    header("Location: http://www.your-main-site.com/");
    exit;
}

【讨论】：

【解决方案3】：

如果外部网站已链接到您的旧页面，并且机器人仍然可以访问这些链接，那么机器人将继续访问并尝试访问内容。

【讨论】：

【解决方案4】：

在这里提到了您的网站地址：

http://www.your-main-site.com/

那是我们用来转移域和有时用于黑帽 seo。

【讨论】：