Robots.txt 不允许某些文件夹名称

Question

我想禁止机器人抓取网址中任何位置的任何文件夹，名称为：this-folder。

禁止示例：

http://mysite.com/this-folder/
http://mysite.com/houses/this-folder/
http://mysite.com/some-other/this-folder/
http://mysite.com/no-robots/this-folder/

这是我的尝试：

Disallow: /.*this-folder/

这行得通吗？

Answer 1

不支持官方通配符和正则表达式：

http://www.robotstxt.org/robotstxt.html

但显然有些搜索引擎支持这一点。