谷歌网站管理员工具上的大量 404 错误到 plugins/feedback.php 文件答案

【问题标题】：slew of 404 errors on google webmaster tools to plugins/feedback.php file谷歌网站管理员工具上的大量 404 错误到 plugins/feedback.php 文件
【发布时间】：2015-10-25 14:28:29
【问题描述】：

收到来自谷歌网站管理员工具的通知，说 404 错误的数量已大大增加，在检查抓取错误时，我发现很多不应该出现的错误：

webmaster tools

我检查了源代码，但没有找到提到的 URL，所以不知道 google 是从哪里得到的。这个插件目录甚至不存在。它是一个 WordPress 安装，所以有一个 wp-content/plugins 文件夹，但没有 plugins/ 文件夹。

可能发生了什么......为什么谷歌试图索引一个不存在的 URL 并得到一个 404。

网站网址是http://ladiesnightandbrunchesdubai.com 任何帮助将不胜感激。

【问题讨论】：

该 URL 来自您的 Facebook cmets 插件。我可以在我的网站上看到同样的问题，它始于 10 月 24 日。
如果这是由 Google 引起的，可能是因为他们现在抓取的方式发生了变化 - 他们正在执行更多 JavaScript - googlewebmastercentral.blogspot.be/2015/10/…

标签： facebook seo google-crawlers

【解决方案1】：

此 URL 来自 Facebook 评论插件。由于它不是绝对 URL，Google 爬虫认为它指向您的网站。

这可能以前也没有发生过，因为：

1) Google 爬虫最近开始执行越来越多的 javascript - http://googlewebmastercentral.blogspot.be/2015/10/deprecating-our-ajax-crawling-scheme.html 如果是这种情况，我们网站上的第三方脚本可能会遇到更多类似的问题。

2) 可能 Facebook cmets 插件没有相对 URL

解决方法：

将这些网址添加到 robots.txt 中，告诉 Google 不要抓取这些网址

Disallow: /plugins/feedback.php

【讨论】：

fyi - 根据过去的经验，我知道 404 将在 Google 网站管理员工具中保留数月/数年，直到它们不再返回 404。您需要添加重定向。
@sapel - 在机器人中禁止“/plugins/feedback.php”并在 Google 网站管理员工具中将其标记为已修复后，自 10 月 30 日起，这些 URL 均未出现在 GWT 中
@sapel 有点正确：只是禁止 robots.txt 中的 URL 不会将它们从“搜索控制台”的报告 404 页面中删除。您必须在此处将它们标记为已修复才能从列表中删除这些条目。

【解决方案2】：

我在我的 wordpress 网站上看到了同样的内容。第一次出现是 11/23。现在有大约 500 个网址并且还在不断增加。

我已经 grep 了 wordpress 代码库，但找不到 google 正在构建和发现该路径的位置。

为了修复网站管理员工具中的 404 报告，我在主页上添加了 '^/plugins/feedback.php' 上的 301 重定向。然后在网站管理员工具中将所有内容标记为“已修复”。

【讨论】：