Robots.txt 文件的 Disallow 语句中的 * 字符

Question

不同的搜索机器人如何解释 robots.txt 文件的 disallow 语句中的 * 字符？他们都把它当作“无，一个或多个字符”吗？

我们来看下面的例子：

User-agent: *           
Disallow: /back-end*/*

上面的代码是什么意思？ 这是否意味着任何具有“后端”的目录都不会被索引，即使“后端”这个词后面跟着任何字符集？ / 之后的 * 怎么样？写它是一个好的约定吗？

一般来说，我的问题是关于 disallow 语句中 * 的使用以及是否所有搜索引擎爬虫都以相同的方式对待它。

Answer 1

机器人排除标准没有提及 Disallow: 语句中的 * 字符。一些爬虫（如 Googlebot 和 Slurp）识别包含 * 的字符串，而 MSNbot 和 Teoma 以不同的方式解释它。