如何阻止除 google 和 Bing 之外的所有机器人？答案

【问题标题】：How to block all bots except google and Bing?如何阻止除 google 和 Bing 之外的所有机器人？
【发布时间】：2021-06-21 15:44:32
【问题描述】：

如何阻止除 google 和 Bing 之外的所有漫游器。我正在使用 Cloudflare，但我很困惑，该怎么做。

我希望除这些以外的所有机器人都面临 Cloudflare JS 挑战

【问题讨论】：

您可以通过用户代理允许它们，但任何人都可以轻松地设置一个机器人，只使用 google bot/bing bot 用户代理发送请求。
你能分享截图吗，我会很感激的。

标签： bots robots.txt

【解决方案1】：

简单：在根目录下创建文件 robots.txt

并添加您要允许或禁止的机器人

# robots.txt 
User-agent: *
Disallow: /

User-agent: bingbot
allow: /
Disallow: /some-page-for-bingbot/

User-agent: googlebot
allow: /
Disallow: /some-page-for-googlebot/

【讨论】：