我如何告诉谷歌不要完全抓取域答案

【问题标题】：How do i tell google to not crawl a domain completly我如何告诉谷歌不要完全抓取域
【发布时间】：2015-03-04 18:08:15
【问题描述】：

我在 opencart 中有一个网站说abc.com，我用它开了一个多商店xyz.com，我发现谷歌也开始爬xyz.com，这是我不想要的。两个域都指向同一个目录，所以我想只能有一个 robots.txt 文件。我对谷歌网站管理员或搜索引擎优化不是很有经验，所以请告诉我如何告诉谷歌忽略所有以xyz.com 开头的网址。

【问题讨论】：

为什么不将xyz.com 301 重定向到abc.com？
@unor，这将破坏 Opencart 为每个域提供不同内容的多存储的目的。

标签： seo opencart robots.txt multistore

【解决方案1】：

如果您使用 Apache 和 mod_rewrite，您可以添加一个重写规则来为 xyz.com 提供不同的 robots.txt 文件：

RewriteCond %{HTTP_HOST} xyz.com$ [NC]
RewriteRule ^robots.txt robots_xyz.txt [L]

然后创建robots_xyz.txt:

User-agent: *
Disallow: /

【讨论】：

嘿，比利，谢谢你的回答，但你来晚了..我自己想通了，但仍然接受它，因为它是绝对正确的