Google 无法抓取您的网站，因为我们无法访问您网站的 robots.txt 文件

Question

我使用谷歌网站管理员验证了我的网站。我在 django 中创建了我的网站，还添加了 robots.txt。 现在谷歌显示绿色刻度标记我认为它在 DNS 和服务器连接上很好，但在 robots.txt 提取上显示红色警告标记..

我的 robots.txt 看起来像

User-agent: *
Disallow:

是 google 需要时间来抓取网站吗？或者我的 robots.txt 或其设置中有错误。

当我从 mysite.com/robots.txt 这样的网站打开 robots.txt 时，我可以看到 robots.txt 文件..

此外，当我在网站管理员中运行 robots.txt 测试时，它会给出允许的结果.. 我的网站甚至没有在 google 中被搜索到..

但为什么它不抓取我的网站？

Answer 1

Google 通常会缓存 robots.txt。它主要在 24 小时内尝试重新抓取。如果您确定您的 robots.txt 中没有任何内容，您可能需要等待。