【发布时间】:2013-03-16 11:44:08
【问题描述】:
“授权权限错误增加”
过去 2 晚,我在我的一个网站的网站管理员工具中收到此错误,我认为可能导致此错误的唯一更改是我的 robots.txt 文件。
就是这样:
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow:
User-agent: bingbot
Disallow:
User-agent: Yahoo-slurp
Disallow:
User-agent: Msnbot
Disallow:
User-agent: *
Disallow: /
这个机器人文件验证并在网站管理员中我运行了一个测试,看看谷歌是否可以抓取页面,它说 googlebot 在第 5 行是允许的(这是正确的)但我只是想知道是否
User-agent: *
Disallow: /
底部是覆盖 Googlebots 的命令?
在我开始收到此错误之前,我放置了
User-agent: *
Disallow: /
最重要的是机器人特定的命令 - 但它没有验证,而且 - 我没有得到 “授权权限错误增加”错误。
感谢您的帮助。
【问题讨论】:
标签: robots.txt google-search-console google-crawlers