相关问题：Multiple User Agents in Robots.txt
我正在阅读某个网站上的 robots.txt 文件，这对我来说似乎是矛盾的（但我不确定）。
User-agent: *
Disallow: /blah
Disallow: /bleh
...
...
...several more Disallows
User-agent: *
Allow: /
我知道你可以通过指定多个用户代理来排除某些机器人，但是这个文件似乎是说所有机器人都不允许访问一堆文件但也允许访问所有文件？还是我读错了。
【问题讨论】：
标签： robots.txt
此 robots.txt 无效，因为必须只有一条记录为 User-agent: *。如果我们修复它，我们有：
User-agent: *
Disallow: /blah
Disallow: /bleh
Allow: /
Allow 不是original robots.txt specification 的一部分，因此并非所有解析器都能理解它（那些必须忽略该行）。
对于理解Allow 的解析器，这行简单的意思是：允许一切（其他）。但这无论如何都是默认的，所以这个 robots.txt 的意思是一样的：
User-agent: *
Disallow: /blah
Disallow: /bleh
含义：除了路径以blah 或bleh 开头的那些URL 之外，所有内容都允许。
如果Allow 行将出现在Disallow 行之前，则某些解析器might 会忽略Disallow 行。但是，由于未指定 Allow，这可能因解析器而异。
【讨论】：