限制机器人访问（特定）查询字符串（参数）值？答案

【问题标题】：Restrict robot access for (specific) query string (parameter) values?限制机器人访问（特定）查询字符串（参数）值？
【发布时间】：2010-11-13 17:01:14
【问题描述】：

使用 robots.txt 是否可以限制机器人访问（特定）查询字符串（参数）值？

即

http://www.url.com/default.aspx  #allow
http://www.url.com/default.aspx?id=6  #allow
http://www.url.com/default.aspx?id=7  #disallow

【问题讨论】：

【解决方案1】：

可以只定义查询变量如

不允许：/default.aspx?id=*

或者更好

不允许：/?id=

【讨论】：

【解决方案2】：

User-agent: *
Disallow: /default.aspx?id=7  # disallow
Disallow: /default.aspx?id=9  # disallow
Disallow: /default.aspx?id=33 # disallow

etc...

您只需要指定不允许的 url。默认情况下允许其他所有内容。

【讨论】：