奇怪的谷歌结果列表，创建了无效的 URL答案

【问题标题】：Strange google result listing, invalid URL created奇怪的谷歌结果列表，创建了无效的 URL
【发布时间】：2012-01-24 01:51:33
【问题描述】：

如果你们能对此有所了解，那就太好了，这让我感到困惑：

一位客户问我是否可以尝试将他的喜剧之夜的搜索词设为“速写”，让他的网站在 Google 排名中名列前茅。我只是将整个站点的标题标签从“Allnutt and Simpson”更改为“Allnutt and Simpson - Sketchercise @ Ginglik - Sketch Duo”。它成功了，现在在输入“sketchercise”时，该网站出现在 Google 列表的顶部。但是，它发出了这个非常奇怪的链接：

http://www.allnuttandsimpson.com/index.php/videos/

这也是谷歌搜索结果的链接：

http://www.google.co.uk/search?sourceid=chrome&ie=UTF-8&q=sketchercise

此链接无效，没有任何意义。我想这与使用哈希标签和 AJAX 驱动的网站有关，但在我更改标题标签之前，它使用 # 标签很好地链接到了网站。这个斜线是怎么回事？

最奇怪的是，该网站上视频页面的有效 URL 是 /index.php#vidspics，我从未在 url 中使用过“视频”一词！

如果有人能解释造成这种情况的原因或只是帮助我阻止它发生，我将不胜感激。我意识到这是一个 SEO 问题，我通常讨厌那些东西，但我希望你能看到这有点奇怪！

只是为了比较，如果你用谷歌搜索“allnutt and simpson”，它可以很好地链接到该网站，并且所有页面都绝对可以作为 .php 页面（然后我的 JS 将它们转换为哈希标签以保持内容干净）

【问题讨论】：

标签： url hash

【解决方案1】：

这是因为您托管的文件下必须有一个名为“videos”的文件夹，请使用 FTP 客户端并检查。

除非您告诉他不要这样做，否则 Google 会抓取每个文件夹和文件，查找 robots.txt 文件以了解如何避免索引。

当你解决这个问题时，还要求谷歌删除该结果。

最后，该行为与哈希标签无关，这些只是对 javascript 的引用，以便在您的网页中显示适当的内容。

【讨论】：

奇怪的是，没有这样的文件夹，我敢肯定从来没有。另外，如果是这种情况，为什么 url 会是“index.php/videos”？这甚至不是一个有效的 URL！不过，感谢 robots.txt 文件的建议，我将不得不调查一下。
可能和apache的mod_rewrite有关，你在用吗？
不使用任何类型的 mod_rewrite。我刚刚制作了一个如下所示的 robots.txt 文件： User-agent: * Disallow: /index.php/videos 希望这能解决问题。如果确实如此，我会在答案中打勾（你首先得到了 robots.txt 的建议）。仍然会有点神秘。
不得不使用 Google 网站管理员工具删除该条目，但我认为 robots.txt 对防止再次发生很重要。

【解决方案2】：

不知道为什么它会这样发布，但阻止该页面出现的唯一方法是使用该网站的谷歌网站管理员帐户并确保爬虫无法再找到此链接。另一种方法是当 isset($_REQUEST(videos)) 为真时，让站点管理员将此标签 <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> 放在标题中。地址中的斜线是 www.allnuttandsimpson.com/index.php?=videos 的解析形式。您可以让 Web 服务器将所有 php 参数更改为斜线，以使链接看起来更漂亮。获得正确结果的最佳选择是创建站点地图并将其提交给该站点的https://www.google.com/webmasters/tools/。您将需要访问权限。

哦，忘了，站点地图会让谷歌看到你想要发布的所有页面，将它用于主菜单中的主要页面。要删除不需要的链接，需要在站点的主目录中包含 robots.txt。

【讨论】：