【发布时间】：2014-01-23 05:43:02
【问题描述】：
这是我的疑问。我有一个名为 www.example.com 的网站，该网站已在谷歌搜索引擎中编入索引。其中 beta.example.com 是我的测试子域。现在 beta.example.com 也被谷歌搜索索引了。
请你们中的任何人帮助我。
【问题讨论】：
【发布时间】：2014-01-23 05:43:02
【问题描述】：
在您的子域中放置一个 robots.txt 文件。 Read here for more information
【讨论】：
-
嗨，seff，让我用一个例子来解释一下，如果目录路径是 www.example.com 的 var/www/public-html 和 beta.example.com 的 var/beta/public-html。 www.example.com 和 beta.example.com 共享相同的文件。现在 v 如何解决这个问题？
这是一个棘手的问题。您可能需要涉及一些 .htaccess 诡计！
RewriteEngine on
RewriteCond %{HTTP_HOST} ^beta.example.com$
RewriteRule ^robotx\.txt$ robots-beta.txt
然后添加：
User-agent: *
Disallow: /
到 robots-beta.txt 文件
如果它们来自您网站的 beta 子域，这应该会将所有爬虫（尊重 robots.txt）发送到带有“Disallow: /”的正确文件。
【讨论】：
-
您还应该使用 Google 网站管理员来删除您的子域列表。