.htaccess 限制机器人活动

【问题标题】：.htaccess to restrict bot activity.htaccess 限制机器人活动
【发布时间】：2012-10-12 20:36:56
【问题描述】：

我有一个机器人试图通过输入关键字或密码来访问我的网站。这些条目来自数十个不同的 IP 和位置，因此我无法通过 IP、位置或引用者进行阻止。

机器人尝试访问这样的页面：

始终采用这种格式，并且“有效页面”始终是同一页面。我每天会收到多达 400 次这样的尝试，并且已经持续了一个多星期。

我的问题是，如何使用 .htaccess 来阻止这些尝试？我敢肯定它相对简单——比如阻止所有“？kwd”网址或阻止“有效页面”的所有子目录

有什么想法吗？我真的很感激。

【问题讨论】：

【解决方案1】：

这些机器人有什么独特之处，而浏览您网站的普通人却没有这样做？如果是用户代理的问题（应该在您的访问日志中），则阻止该用户代理：

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} the_bot_useragent
RewriteRule ^ - [L,F]

如果是奇怪的查询字符串，则阻止该查询字符串：

RewriteEngine On
RewriteCond %{QUERY_STRING} kwd=
RewriteRule ^ - [L,F]

如果是来自 IP 或子网的所有机器人的问题：

Deny 123.45.67
# or
Deny 123.123.123.123

【讨论】：