这个 robots.txt 是什么意思？它不允许任何机器人吗？答案

【问题标题】：What does this robots.txt mean? Doesn't it allow any robots?这个 robots.txt 是什么意思？它不允许任何机器人吗？
【发布时间】：2011-11-01 12:11:01
【问题描述】：

User-agent: *
Disallow:
Disallow: /admin
Disallow: /admin
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

我在我网站的一个根文件夹中找到了这个 robots.txt 文件。我不知道我做到了，也不知道是谁做到的。

我认为这个文件不允许任何机器人管理文件夹。这很好。

但我想知道这是否会阻止所有机器人访问我网站中的所有文件？

我已经用这个文件改变了它：

User-agent: *
Disallow: /admin
Allow: /
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

ps：本站很久没有索引了。是旧文件的问题吗？

【问题讨论】：

【解决方案1】：

除了重复的 /Admin 条目之外，旧脚本是正确的。没有 Allow: 命令，并且一个空的“Disallow:”会向机器人打开站点。

具体来说，请检查“应避免的事情”下的第 7 项和“提示和技巧”下的第 1 项

【讨论】：

但是这个网站没有以任何方式在任何引擎中建立索引。从不索引。有很多索引页面，但 2-3 个月没有操作（我认为旧 robots.txt 文件是在 2-3 个月前上传的）。
可能是配置错误的问题。虽然空白的Disallow: 允许访问整个站点，但它之所以存在，是因为至少需要一个Disallow:。实际上，我会忽略它。但是从新文件中删除 Allow: 语句。另一个很好的参考：robotstxt.org/orig.html

【解决方案2】：

可能。我以与您相同的方式阅读了您的旧文件-不允许root。无论哪种方式，您的新机器人文件都会按照我期望的方式设置。

【讨论】：