使用“不允许：/*？”在 robots.txt 文件中答案

【问题标题】：Using "Disallow: /*?" in robots.txt file使用“不允许：/*？”在 robots.txt 文件中
【发布时间】：2016-12-14 10:41:06
【问题描述】：

我用过

Disallow: /*?

在 robots.txt 文件中禁止所有可能包含“？”的页面在网址中。

语法是否正确，还是我也屏蔽了其他页面？

【问题讨论】：

【解决方案1】：

这取决于机器人。

遵循原始 robots.txt 规范的机器人不会赋予 * 任何特殊含义。这些机器人将阻止路径以/* 开头、后跟? 的任何URL，例如http://example.com/*?foo。

某些漫游器（包括 Googlebot）赋予 * 字符特殊的含义。它通常代表任何字符序列。这些机器人会阻止您的意图：任何带有 ? 的 URL。

阻止对包含问号 (?) 的所有 URL 的访问。例如，示例代码阻止以您的域名开头、后跟任何字符串、后跟问题的 URL标记，并以任何字符串结尾：
User-agent: Googlebot
Disallow: /*?

【讨论】：