IP 黑名单 Apache答案

【问题标题】：IP Blacklisting ApacheIP 黑名单 Apache
【发布时间】：2017-02-28 11:10:59
【问题描述】：

我通过我的网站进行了 IP 扫描，我的 apache 错误日志显示了它们，我在这里提出了一个问题： Apache Error Log spammed with an error

现在，在阻止之后，一个新的 IP 正在访问我的站点（与以前的 IP 相同的目录）。目录不存在，生成的都是随机的。

问题：

新的 IP 访问是 66.249.74.73，当我在这里看到 IP 信息时：http://www.infobyip.com/ip-66.249.74.73.html 它表明它是 Google BOT。现在，我很困惑。我应该阻止它吗？

如果我屏蔽了这些 IP，而一个新的 IP 再次做同样的事情，我是否应该继续这样屏蔽这些 IP？没有永久的解决办法吗？

我在 Ubuntu 15.10 中使用 Apache

更新：现在，它能够成功进入我的网站并对其进行爬网（我没有在任何地方为我的网站编制索引）只是在构建它。

 [Fri Nov 20 18:36:31.026761 2015] [core:info] [pid 19594] [client 66.249.74.73:57119] AH00128: File does not exist: /var/www/html/robots.txt
 [Fri Nov 20 18:36:31.446036 2015] [core:info] [pid 19595] [client 66.249.74.69:63983] AH00128: File does not exist: /var/www/html/company/v/19175398/\xce\xe4\xba\xba\xb5\xc2\xc0\xfb\xd4\xb4\xc3\xb3\xd2\xd7\xd3\xd0\xcf\xde\xb9\xab\xcb\xbe
 [Fri Nov 20 18:36:32.228918 2015] [core:info] [pid 19595] [client 66.249.74.69:63983] AH00128: File does not exist: /var/www/html/company/v/5146022/\xd5\xf2\xbd\xad\xca\xd0\xb5\xa4\xcd\xbd\xc7\xf8\xb9\xe2\xc3\xf7\xb8\xa8\xd6\xfa\xb2\xc4\xc1\xcf\xb3\xa7

我已经在 SO 中提出了一个问题，但是 IP 不断生成，我不知道如何阻止所有生成的 IP。（手动将每个都添加到黑名单中是唯一的方法吗？）

【问题讨论】：

@Andrius：我打开了这个新的，因为我想要一个永久的解决方案，即使在阻塞之后 IP 也会继续生成。
创建一个robots.txt

标签： apache

【解决方案1】：

所有爬虫机器人都会通过 /robots.txt 文件。使用以下内容创建此文件：

User-agent: *
Disallow: /

并且没有机器人会进一步抓取您的网站。

你可以阅读更多关于robots.txt here的信息。

【讨论】：

谢谢。我添加了它，希望我不会被那些 IP 击中。

【解决方案2】：

如果 robots.txt 不起作用，您也可以尝试在 .htaccess 文件中使用 modrewrite

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ "http\:\/\/yourdomain\.com" [R=301,L]

【讨论】：

单行 %{HTTP_USER_AGENT} AltaVista|Googlebot|msnbot|Slurp 就可以了
将它与更改 robots.txt 一起添加谢谢。