如何解决搜索引擎的重复内容？ [关闭]答案

【问题标题】：How to solve duplicate content for search engines? [closed]如何解决搜索引擎的重复内容？ [关闭]
【发布时间】：2012-01-29 10:16:46
【问题描述】：

我有 2 个网站：Site1.com 和 Site2.com。

Site1.com 有 2 个页面：a.htm 和 b.htm。 Site2.com 有 3 个页面：a.htm、b.htm 和 c.htm。

页面 a.htm 和 b.htm 在 2 个站点是重复的。

我希望搜索引擎索引 Site1 中的 a.htm 和 b.htm 以及 Site2 中的 c.htm。我如何以及在哪里指定此首选项？如果可能的话，我宁愿不必在页面级别指定我的偏好（这意味着必须编辑每个页面）。

谢谢。

【问题讨论】：

【解决方案1】：

在每个服务器的根目录上创建一个robots.txt 文件，指定应索引哪些页面。

例如，在站点 2：

User-agent: *
Disallow: /a.htm
Disallow: /b.htm

【讨论】：

【解决方案2】：

您不能直接 - 没有搜索引擎提供那种“填写此表单”类型的控件。

你的两个选择：

1) 使用 robots.txt 告诉抓取工具不要将 site1 上的页面编入索引
2) 使用 301“永久移动”重定向来告诉爬虫去查看 site2 而不是 site1。

【讨论】：