如果 googlebot 尝试将营销 URL 编入索引，我应该担心吗？答案

【问题标题】：Should I be concerned if googlebot is trying to index marketing URLs?如果 googlebot 尝试将营销 URL 编入索引，我应该担心吗？
【发布时间】：2009-05-02 09:48:31
【问题描述】：

我最近开始使用Google Webmaster Tools。

看到谷歌试图索引多少链接，我感到非常惊讶。

http://www.example.com/?c=123
http://www.example.com/?c=82
http://www.example.com/?c=234
http://www.example.com/?c=991

这些都是以来自合作伙伴网站的链接形式存在的广告系列。

目前他们都被我的机器人文件拒绝，直到网站完成 - 就像网站上的每个页面一样。

我想知道处理此类链接的最佳方法是什么 - 在我减少 robots.txt 文件的限制之前。

我担心它们会被视为不同的 URL 并开始出现在 google 的搜索结果中。它们都对应于同一页面 - 给予或接受。我不希望人们找到它们并点击它们。

到目前为止，最好的办法是呈现一个包含查询字符串的页面，如下所示：

 // DO NOT TRY THIS AT HOME. See edit below
 <% if (Request.QueryString != "") { %>

    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

 <% } %>

我需要这样做吗？这是最好的方法吗？

编辑：事实证明这不是一个好的方法。事实证明，Google 在与另一个没有 NOINDEX 的页面具有相同内容的页面上看到了 NOINDEX。显然它认为它们是同一件事，并且 NOINDEX 优先。结果，我的网站完全从 Google 中消失了。警告：这可能是我同时做的其他事情，但我不会冒险使用这种方法。

【问题讨论】：

标签： seo googlebot

【解决方案1】：

这就是 rel="canonical" 的设计目的。 Google posted a blog article about it.

【讨论】：

+1，规范会有所帮助。另请查看“站点地图”，cfr en.wikipedia.org/wiki/Site_map。
Google 在文章“规范是提示还是指令？这是我们强烈尊重的提示”。其他引擎是否也尊重这个提示，如果如此强烈？
谢谢。我喜欢带着问题睡觉，醒来时已经有 3 票的答案:-)
@Dave：在文章底部，我引用：“更新：Ask.com、Microsoft Live Search 和 Yahoo! 目前也支持此链接标签。”我也没有在那里看到它，直到我刚刚在谷歌上搜索它，它弹出了一个指向它的链接，其中突出显示了重要部分。

【解决方案2】：

是的，Google 会将它们解释为不同的 URL。

根据您的网络服务器，您可以使用重写过滤器来删除搜索引擎的参数，例如，url rewrite filter 用于 Tomcat，mod rewrite 用于 Apache。

我个人只是重定向到删除跟踪参数的同一页面。

【讨论】：

我最初确实这样做了，但后来谷歌分析无法跟踪广告系列 ID。我在兜圈子！
你应该只为爬虫重定向。

【解决方案3】：

这似乎是最好的方法，除非页面存在于它自己的文件夹中，在这种情况下，您可以修改 robots.txt 文件以忽略该文件夹。

【讨论】：

【解决方案4】：

对于不应该被索引的资源，我更喜欢在页面加载时做一个简单的返回：

if (IsBot(Request.UserAgent)
    return;

【讨论】：