防止谷歌索引动态错误页面（无 404）[关闭]答案

【问题标题】：prevent google to index dynamic error pages (none 404) [closed]防止谷歌索引动态错误页面（无 404）[关闭]
【发布时间】：2014-01-04 10:56:00
【问题描述】：

我的网站上没有404 错误页面。阻止谷歌索引它们的最佳方法是什么？

选项 1

header("HTTP/1.0 410 Gone");

如果内容没有消失怎么办？例如：the article does not exist. 或 wrong parameter has been caught

选项 2

<meta name="robots" content="noindex" />

它只影响一页还是整个域？

选项 3

使用 404 会产生一些其他问题，我想避免。

robot.txt

此选项将不起作用，因为错误将取决于数据库并且不是静态的。

【问题讨论】：

【解决方案1】：

如果内容被删除，最佳做法是对您网站上的类似内容进行 301 重定向。

要停止 Google 将您网站的某些区域编入索引，请使用 robots.txt

更新：如果您发送 200 OK 并添加机器人元标记（您的问题中的选项 2） - 这应该可以满足您的需求。

【讨论】：

robot.txt 在这里没有帮助。错误页面取决于数据库，我们不知道它们何时发生。 301 阻止用户在页面的主框架中看到错误消息。
好的 - 你的问题并不清楚。您是什么意思“301 阻止用户看到错误消息？”。您仍然可以使用 HTTP 200 提供“未找到”页面。这可行吗？您使用的是什么服务器端语言？
我使用 PHP。如果我重定向到另一个页面，我无法简单地向用户显示错误消息。如果我显示代码 200 错误，则问题将是页面索引的威胁。
然后显示 200 的页面，并添加带有的元标记？
谢谢。看来我应该这样做。通过谷歌搜索，我找到了X-Robots-Tag，但我不确定它们是否有用。

【解决方案2】：

防止 google bot 为某些内容编制索引的一种方法是使用 robots 文件：

User-agent: googlebot
Disallow: /mypage.html
Disallow: /mp3/

这样您可以手动禁用单个页面或整个目录。

【讨论】：