仅允许 Googlebot 将所有内容编入索引

【问题标题】：Allow only Googlebot to index everything仅允许 Googlebot 将所有内容编入索引
【发布时间】：2020-03-24 08:03:30
【问题描述】：

我想禁止所有机器人抓取网站并将其编入索引。除了谷歌机器人。我想让谷歌索引索引（/）URL，但没有别的。最好在 robots.txt 中。

您对如何实现这一目标有任何想法吗？谢谢！

【问题讨论】：

这个问题似乎是题外话，因为它是关于 SEO 这在 Stack Overflow 上是题外话。请阅读"Which SEO questions should be closed as non-programming/non-admin?"，以更好地了解何时可以在此处提出 SEO 问题（大多数情况不可以）以及您可以在哪里获得帮助。
@JohnConde 啊哈。我知道了。感谢您的信息。我去那里问问。

【解决方案1】：

您需要使用 robots.txt。

只需在网站的公共文件夹中创建一个并添加；
用户代理：Googlebot
允许：/

用户代理：*
不允许：/

这将允许谷歌爬虫为所有页面编制索引，并禁止整个网站的所有其他爬虫。

我知道这可能被认为是题外话，但我仍然认为如果这有帮助，我会回答。正如 John Conde 建议的那样，试试网站管理员....

【讨论】：

感谢您的回复。我也在webmasters.stackexchange.com 上发布了这个。是的，robots.txt 就是这样。但是，您发布的解决方案会阻止 Googlebot 访问整个网站，对吗？我只想为 Googlebot 允许 /（索引）。
啊，我明白了...希望您在网站管理员中找到解决方案。万事如意
更新了答案仅供参考