我有 www.domainname.com、origin.domainname.com 指向同一个代码库。有没有办法，我可以防止 basename origin.domainname.com 的所有 url 被索引。
robot.txt 中是否有一些规则可以做到这一点。两个网址都指向同一个文件夹。 另外，我尝试在 htaccess 文件中将 origin.domainname.com 重定向到 www.domainname.com，但它似乎不起作用..
如果有人遇到过类似问题并可以提供帮助，我将不胜感激。
谢谢
【问题讨论】：
标签： .htaccess url-rewriting robots.txt
仅用于 .htaccess：
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ "http\:\/\/htmlremix\.com" [R=301,L]
【讨论】：
您可以将robots.txt 重写为另一个文件（让我们将此命名为“robots_no.txt”，其中包含：
User-Agent: *
Disallow: /
（来源：http://www.robotstxt.org/robotstxt.html）
.htaccess 文件如下所示：
RewriteEngine On
RewriteCond %{HTTP_HOST} !^www.example.com$
RewriteRule ^robots.txt$ robots_no.txt
为每个（子）域使用自定义 robots.txt：
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.example.com$ [OR]
RewriteCond %{HTTP_HOST} ^sub.example.com$ [OR]
RewriteCond %{HTTP_HOST} ^example.com$ [OR]
RewriteCond %{HTTP_HOST} ^www.example.org$ [OR]
RewriteCond %{HTTP_HOST} ^example.org$
# Rewrites the above (sub)domains <domain> to robots_<domain>.txt
# example.org -> robots_example.org.txt
RewriteRule ^robots.txt$ robots_${HTTP_HOST}.txt [L]
# in all other cases, use default 'robots.txt'
RewriteRule ^robots.txt$ - [L]
您也可以使用<link rel="canonical">，而不是要求搜索引擎屏蔽除www.example.com 以外的所有页面。
如果http://example.com/page.html 和http://example.org/~example/page.html 都指向http://www.example.com/page.html，则将下一个标签放入<head>：
<link rel="canonical" href="http://www.example.com/page.html">
【讨论】：
robots.txt 的另一种方法是使用服务器脚本，例如 PHP。