301 重定向到除 robots.txt 之外的所有内容答案

【问题标题】：301 redirects to all except robots.txt301 重定向到除 robots.txt 之外的所有内容
【发布时间】：2010-09-23 14:11:44
【问题描述】：

我们已将网站移至新域，并希望从搜索引擎中删除旧网站的所有页面。它是同一个站点，相同的内容，只是一个新域，因此搜索引擎会因为重复的内容（也许）而花费时间。我们已将 .htaccess 301 从旧站点添加到新站点：

redirect 301 / http://new-domain.com/

现在，为了从搜索引擎中删除我们的旧网站，我们将旧网站上的 robots.txt 更改为：

User-agent: *
Disallow: /

问题是，由于 .htaccess 301 重定向，搜索引擎正在从 new-domain.com 获取 robots.txt。

如何限制 robots.txt 的 301 重定向？

【问题讨论】：

【解决方案1】：

删除Redirect 指令并尝试此 mod_rewrite 规则：

RewriteEngine on
RewriteRule !^robots\.txt$ http://other.example.com%{REQUEST_URI} [L,R=301]

这将重定向除/robots.txt之外的任何请求。

【讨论】：

【解决方案2】：

我尝试了不同的配置并花费了几个小时，最后我发现这段代码运行良好，希望能得到想要的结果这是禁止搜索引擎的代码。

User-agent: *
Disallow: /

【讨论】：