Robots.txt：这个通配符规则有效吗？

Question

简单的问题。我要补充：

Disallow */*details-print/

基本上，本例中/foo/bar/dynamic-details-print --- foo 和 bar 形式的阻塞规则也可以是完全动态的。

我以为这很简单，但后来在 www.robotstxt.org 上有这样的消息：

还要注意，在 User-agent 或 Disallow 行中不支持通配符和正则表达式。 User-agent 字段中的“*”是一个特殊值，意思是“任何机器人”。具体来说，您不能有“User-agent: bot”、“Disallow: /tmp/*”或“Disallow: *.gif”之类的行。

所以我们不能这样做？搜索引擎会遵守吗？但是，有Quora.com's robots.txt 文件：

Disallow: /ajax/
Disallow: /*/log
Disallow: /*/rss
Disallow: /*_POST

那么，谁是对的——还是我误解了 robotstxt.org 上的文字？

谢谢！

Answer 1

答案是“视情况而定”。 robotstxt.org 中定义的 robots.txt“标准”是机器人应支持的最低要求。 Googlebot、MSNbot 和 Yahoo Slurp 支持一些常见的扩展，而且真的不知道其他机器人支持什么。有些人说他们支持什么，有些人不支持。

一般而言，您可以期待主要的搜索引擎机器人支持您编写的通配符，并且您那里的通配符看起来可以工作。最好的办法是通过一个或多个 theserobots.txt 验证器运行它，或者使用 Google 的 Webmaster tools 来检查它。