fail2ban 检测不良网站爬虫

Question

最近我的服务器受到了恶意网站爬虫的攻击，该爬虫在大约 2 分钟内搜索了我网站上的大约 70.000 个文件夹。这导致了一些服务器延迟，如果它在 phpmyadmin 或其他东西中发现一些漏洞，也可能是一个问题。

现在我的问题是：是否有可以阻止此类扫描的 fail2ban 配置？

我已经找到了一个较旧的(link)，但它与我日志中的日志字符串不匹配。

我的日志中的字符串如下所示：

domain.tld:80 <Attacker IP (v4 & v6)> - - [17/Apr/2017:20:45:28 +0200] "GET /ph4/ HTTP/1.1" 404 4123 "http://www.google.com" "Googlebot/2.1 (+http://www.google.com/bot.html)"

Answer 1

我的正则表达式并不完美。但它可以提供帮助：

failregex = ^<HOST>.* \".*\" (400|401|403|404|405|413|414|429).*

此正则表达式将匹配返回码 400,401,403,404,405,413,414,429 你可以在这个link找到这些代码的含义

希望对你有帮助。