允许 Google Site Search 但阻止 Google Bot答案

【问题标题】：Allow Google Site Search but block Google Bot允许 Google Site Search 但阻止 Google Bot
【发布时间】：2016-09-05 20:03:00
【问题描述】：

我正在寻找一些关于试图阻止 Google Bot 访问我网站上特定页面的明确说明，但同时允许它们在我的 Google 网站搜索 (GSA) 中被编入索引。我找不到明确的答案。这是我最好的猜测。

User-agent: *
Disallow: /wp-admin/
Disallow: /example/custom/

User-Agent: gsa-crawler
Allow: /example/custom/

我想阻止 Google Bot 使用 www.example.com/example/custom/ 索引任何页面，但同时使用 GSA 索引它们。这会是我的 robots.txt 文件中的正确实现吗？或者 GSA 是否需要超越 User-agent: * ？非常感谢任何见解。

【问题讨论】：

【解决方案1】：

不确定是否有帮助：

安全提示：记住黑客在 robots.txt 中搜索以查看您要“保护”的目录。

干杯！

【讨论】：

我不担心这些页面的安全性，我希望用户能够访问它们，但我不希望谷歌出于重复内容的原因将它们编入索引。至于我查看的链接，但找不到关于阻止谷歌机器人和允许 GSA 的答案。