使用 robots.txt 或 301 重定向来修复重复错误答案

【问题标题】：Using robots.txt or 301 redirects to fix duplication errors使用 robots.txt 或 301 重定向来修复重复错误
【发布时间】：2015-10-13 11:38:37
【问题描述】：

我们遇到了一个问题，即 Google 认为 /product.html 与 /category/product.html 相同。它们都是相同的内容，但是是两个不同的页面。我可以手动

Redirect 301 /product1.html https://www.website.com/category/product1.html
Redirect 301 /product2.html https://www.website.com/category/product2.html

但我们有数千种产品，并且会不断添加新产品。

我想知道是否有办法做这样的事情：

Disallow: /*.html$
Allow: /*/*.html$

在 robots.txt 文件中？或者，如果有办法在 .htaccess 文件中使用 301 重定向来做到这一点。或者，如果 Opencart 中有一种方法可以自动将 /product.html 301 转换为 /category/product.html（问题在于每个产品都属于多个类别）。

谢谢

【问题讨论】：

标签： .htaccess redirect http-status-code-301 robots.txt

【解决方案1】：

你可以做两件事：

在您的 .htaccess 中

一个通用的 301 重定向

RewriteEngine On

RewriteRule ^category/(.+)$ $1 [L,R=301]

在您的 HTML 模板中

在您的产品模板中添加以下内容。当有重复内容时，这将帮助 Google 知道哪个页面是正确的。

<link rel="canonical" href="https://www.website.com/product1.html" />

Google 不建议为此使用 robots.txt：

虽然我们鼓励您使用这些方法中的任何一种，但它们都不是必需的。如果您未指明规范网址，我们将确定我们认为是最好的版本或 URL。

请勿将 robots.txt 文件用于规范化目的。不要使用用于规范化的 URL 删除工具：它删除所有版本的来自搜索的 URL。不要将不同的 URL 指定为同一页面（例如，站点地图中的一个 URL 和同一页面的不同 URL 使用 rel="canonical") 的页面。

https://support.google.com/webmasters/answer/139066?hl=en#2

根据您的评论，这是将 example.com/ *.html 重定向到 example.com/category/ *.html 的规则

RewriteEngine On

RewriteRule ^([^/]+.html)$ category/$1 [L,R=301]

【讨论】：

感谢您的回复。 Canonicals 对我们来说几乎是不行的，我们已经尝试设置它们，但无法让它们正常工作。 Opencart 创建同一页面的多个变体（例如，如果您输入 example.com/randomletters/product.html 它不会 404，但它会在该 url 创建该页面）但会为所有这些变体保留规范标签；使规范标签无用。那么这个 301 重定向到底是做什么的呢？它是否重定向类别/*？我们希望将 example.com/*.html 重定向到 example.com/category/*.html
我的理解正好相反。检查我的编辑，我添加了一个重写器以满足您的需要
感谢您的编辑。这会将 product.html 页面添加到类别/对吗？但是所有这些 product.html 页面都属于不同的类别。我不认为我能够用 301 做到这一点，除非我分别做每个产品
是的，如果原始 URL 中没有类别，则无法在重定向中添加类别。