清理网站域 - 仍然显示旧文件答案

【问题标题】：Clean the website Domain - still showing old files清理网站域 - 仍然显示旧文件
【发布时间】：2014-10-17 17:30:18
【问题描述】：

我们有一个多年前用 php 开发的网站。我们现在使用 asp.net 重新开发了网站。我已经发布了网站，现在一切正常。

最近，我看到有几个使用旧 url(php) 访问网站的请求。我确实将站点地图提交给了所有主要的搜索引擎，但对旧 URL 的请求仍然每隔几周就会从 bing 现在不断出现。

当我检查 bing 网站管理员工具时，我的域文件夹结构仍然显示 php 文件夹和文件以及新的 asp.net 文件夹/文件。所以我假设每当蜘蛛机器人抓取我的网站时，所有这些文件都会被命中并记录错误。

我的问题是为什么旧文件在文件系统中不存在时仍然显示（托管在 IIS 上）并且 php 文件夹甚至不存在这里。当日志文件不断不必要地增长时，如何清理域并解决此问题？

【问题讨论】：

这个问题与编程无关，而你谈论的是谷歌网站管理员工具——所有的爬虫都会保存你的链接的历史记录，并有一个时间表来索引它们。您的链接将在一段时间后离开此查询。这样做的正确方法是保留您的 php 文件并将它们添加到永久移动重定向标头中。如果你没有通过重定向向你的爬虫显示文件永远消失了，那么爬虫会认为你的服务器有问题，你会失去你在搜索中的旧位置

【解决方案1】：

我还注意到 Bing 似乎可以记住这些页面很长时间，即使它们给出 404 或 301 HTTP 结果。并不是因为 Bing 会记住这些页面，它们才会显示在搜索结果中。

404 错误是您最不必担心的问题。许多机器人会来到您的网站并请求不存在的页面。

【讨论】：

【解决方案2】：

当您想将页面从 example.php 更改为 example.aspx 时，不丢失爬虫索引以及不丢失用户书签的“正确方法”是在您访问的每个页面上进行永久重定向打算换个地方。

对于 php 来说：

<?php
 header("HTTP/1.1 301 Moved Permanently");
 header("Location: http://example.org/example.aspx");
?>

因此，您需要在每个旧 php 页面上添加它，并将它们移动到新位置。

爬虫会保留旧链接，即使它们不在索引上，即使它们不存在，它们也会寻找它们很长时间。当他们确定这不是网络错误并且他们永远消失时，他们将被删除，直到那时您将继续看到它们。

【讨论】：