【发布时间】：2011-02-16 06:23:45
【问题描述】：
我有一个添加了两个域的网站。两个域都指向网站的根目录。是否可以更改 robots.txt 以使其中一个域不被抓取，而另一个域仍然如此？
【问题讨论】：
标签： asp.net search-engine web-crawler
【发布时间】：2011-02-16 06:23:45
【问题描述】：
您应该执行 301 重定向到您的首选域，这会告诉机器人您要抓取的 URL。
例如
www.domain1.com
应该 301 重定向到
www.domain2.com
同样
www.domain1.com/Contact-Us/
应该 301 重定向到
www.domain2.com/Contact-Us/
【讨论】：
-
我也想过这个，但希望我可以反过来做，因为用户仍然希望在 www.domain1.com/contact-us 上，但搜索引擎应该只爬取 domain1.com/contact-us
-
老实说，您应该尝试使用相同的首选主地址。如果你想让你的用户看到 www，你应该让机器人使用 www。