更新有关目录结构更改的爬虫信息

Question

在我们的旧网站上，我们有一些目录已被弃用。我担心404s 的涌入会影响我们的排名。

例如，曾经的www.mysite.com/intranet/ 不再存在于我们的服务器上，但谷歌（我猜）正在更新该文件夹的旧记录并返回404s。 （我们正在使用插件通过 rss 报告404s）

我看到的选项是：

1. 通过.htaccess 重定向这些网址
2. 通过robots.txt 禁止（令人困惑，因为没有这样的目录）
3. 通过网站管理员工具删除目录（可能不推荐这样做）

如果有人能提供一些关于如何让 Google 不认为这些目录仍然是网站的一部分的见解，我将不胜感激。

Answer 1

您应该更新站点地图并将其发送到搜索引擎，这是重要的第一步。

除了站点地图之外，如果您将这些资源移动到新结构中的新位置，请使用301 redirections。如果它们只是消失了，不管是什么原因，然后使用410 status 通知爬虫它们不再可用。

没有必要像你提到的那样触摸 robots.txt 文件，因为这对于网站的真实结构是不正确的。