如何阻止 Google 索引我的自定义 404 错误页面？答案

【问题标题】：How do I keep Google from indexing my custom 404 error page?如何阻止 Google 索引我的自定义 404 错误页面？
【发布时间】：2010-09-21 00:30:56
【问题描述】：

我使用 ASP.Net，并且我有一个自定义的 404 页面。当用户粘贴未找到的 url 时，它将重定向到自定义 404 页面。但是谷歌索引我的自定义 404 页面。搜索 404（未找到页面）。

有人有解决办法吗？

【问题讨论】：

标签： asp.net

【解决方案1】：

您可能希望确保您的“404 页面”实际上发送的是 HTTP 404 响应代码，而不仅仅是一个显示 404 但实际上响应 HTTP 200 的页面。我不相信 Google（或其他主要搜索引擎） ) 将对响应 404 的请求生成的页面进行索引。

更大的问题是蜘蛛如何到达您的 404 页面。

【讨论】：

【解决方案2】：

您可以使用 robots 元标记来阻止 Google 将 404 页面编入索引。

<META NAME="ROBOTS" CONTENT="NOINDEX">

Google webmaster blog 表示他们不会索引带有此元标记的页面。

【讨论】：

【解决方案3】：

您可以将错误目录或每个文件添加到您网站根目录下的 robots.txt 文件中，从而使 Google 无法访问它。这实际上适用于您不希望 google 索引的任何目录/文件。

【讨论】：

【解决方案4】：

您将始终看到 Google 访问您的 404 页面的日志条目。因为 Google 需要请求该页面才能知道它的状态为 404。但是，如果这就是您所要求的，那么您应该永远不会在搜索结果中看到此页面？

【讨论】：