为什么我的旧 URL 仍然被调用？

Question

有一个网站我下架了很长时间（将近 6 个月）。我翻新了整个网站，它的所有外观和感觉以及其中的一切（我什至将框架从 PHP Zend 更改为 Symfony3）。

在投入生产后，我激活了 Symfony 独白报告系统，看看我遇到了什么错误。肯定有一堆错误，但除了一个之外，它们对我来说都是已知和清楚的。

在 /some_old_route 找不到路线。

我不确定是谷歌用新的 URL 重新索引整个网站还是到底发生了什么。一些旧链接被调用并导致“找不到路由”问题，即 2 天内报告了 3000 多个错误。

这是来自服务器日志文件的错误示例。

Error   69.30.213.82    404 GET /dienstleister/eco-express/9260 HTTP/1.0        Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+) 23.8 K  Apache access

有什么想法吗？ 而如果是谷歌，如何告诉她这些网址已经消失了？

Answer 1

从日志条目中可以看出，这个特定的请求是由MJ12bot 完成的，不管是谁。如果机器人正常工作，它会记住该 URL 不再可用，以后不再尝试。