阻止谷歌从网站索引某些页面答案

【问题标题】：Block google from indexing some pages from site阻止谷歌从网站索引某些页面
【发布时间】：2012-10-02 02:29:56
【问题描述】：

我在一个站点上遇到了很多 404 错误的问题。我发现这些错误正在发生，因为谷歌试图找到不再存在的页面。现在我需要告诉 Google 不要再将这些页面编入索引。

我在网上找到了一些关于使用 robots.txt 文件的解决方案。但这不是我建立的网站。我只需要修复这些错误。问题是，这些页面已生成。它们实际上并不以那种形式存在。所以我不能在php代码中添加任何东西。而且我不太确定如何将它们添加到robot.txt。

当我刚写的时候： *用户代理：* 无索引：/objekten/anzeigen/haus_antea/5-0000001575*

然后点击网站管理员工具中的测试按钮

我从 Googlebot 得到这个： 允许检测为目录；特定文件可能有不同的限制

我不知道那是什么意思。

我是这种东西的新手，所以请尽可能简单地写下你的答案。

抱歉英语不好。

【问题讨论】：

【解决方案1】：

我认为 Google 会自动从其索引中删除此类返回 404 错误的页面。 Google 不会在结果中显示这些页面。所以你不需要关心这个。

请确保这些页面未与其他页面链接。如果是这样，Google 可能会不时尝试将它们编入索引。在这种情况下，您应该返回 301 错误（永久移动）并重定向到正确的 url。 Google 将遵循 301 错误并改用重定向的 url。

Robots.txt 仅在您想删除搜索结果中已有的页面时才需要。但我认为错误代码为 404 的页面无论如何都不会显示在那里。

【讨论】：

问题是页面返回许多 404 错误，并且在谷歌上的排名很差。我需要停止谷歌甚至寻找他们。有时在那些存在之前，但现在已经不存在了。
但是谷歌为什么要寻找这些网址呢？他们在某个地方有联系吗？
我不知道。那些是曾经存在过的页面，其中一些仍然存在，但在新的 url 上。有时在它们被链接之前，但我不知道了。问题是这是完全定制的 cms，没有现有的文档。我对系统架构知之甚少。我唯一确定的是，谷歌正在抓取曾经存在但不再存在的页面。