robots.txt 中用户代理的顺序

【问题标题】：Order of User agents in robots.txtrobots.txt 中用户代理的顺序
【发布时间】：2012-12-13 12:07:22
【问题描述】：

我的 robots.txt 如下所示：

User-agent: *
Disallow: /admin
Disallow: /test

User-Agent: Googlebot
Disallow: /maps

现在 Google 会忽略 user-agent * 部分，只遵循特定的 Googlebot 指令 (/maps)。这是正常行为吗？也不应该遵守 useragent * 指令（/admin、/test）？

必须为每个用户代理添加每一行似乎很奇怪？

【问题讨论】：

【解决方案1】：

没关系，谷歌这样说：

robots.txt 文件中的每个部分都是独立的，不会构建在前面的部分。例如：

用户代理：* 禁止：/folder1/

用户代理：Googlebot 禁止：/folder2/

在此示例中，只有匹配 /folder2/ 的 URL 将被禁止用于 Googlebot。

【讨论】：