Robots.txt Disallow 文件 - 应该留空吗？

Question

在这个 robots.txt 问题上需要帮助。我的默认文件看起来像这样

User-agent: *
Disallow:

Sitemap: https://mywebsite.com/sitemap_index.xml

问题是，在这种配置下，Google 对我的几乎所有（在撰写本文时）的 URL 进行了去索引。

将不允许字段留空是否正确？

Answer 1

是的，它在技术上是正确的。

这意味着包括搜索引擎在内的所有用户代理都可以访问您的网站页面。

用户代理附近的星号表示它适用于所有用户代理。

disallow 后没有列出任何内容，表示完全没有限制。