如何阻止来自特定目录的机器人

Question

我的网站上 /cachecp/ 目录中的文件从网络爬虫机器人收到大量请求（该目录在我的服务器上不存在，但我认为是黑客机器人在寻找漏洞。） IP 完全不同，所以我无法阻止 IP。

我收到以下请求： mydomain.com/cachecp/helps/wholesale-plus-size-clothing.html 但是该文件夹和 html 文件都不存在（或曾经存在）。 html 文件似乎完全是随机的，与我的产品无关。

我能否使用 htaccess 向任何试图访问该文件夹的机器人提供 403 错误和/或禁止该 IP 多次尝试？

Answer 1

在您的 robots.txt 文件中使用它

User-agent: *
Disallow: /cachecp/

请记住，robots.txt 是“君子协定”，一些不那么谨慎的机器人会完全无视您的规则。