【发布时间】：2016-11-28 04:03:16
【问题描述】：
有一个机器人/蜘蛛非常快地抓取我的网站。用户代理是 'ltx71 - (http://ltx71.com/)' 并且它有多个 ips：
52.3.127.144 和 52.3.105.23
在网站上它只是这样说：
LTX71
我们会持续扫描互联网以进行安全研究。我们的 爬行不是恶意的，只记录一个摘要信息 页面。
如果您还有其他问题，请联系 research@ltx71.com
我想知道什么研究目的。我在谷歌上找不到任何关于它的信息。我应该阻止这个机器人吗？
【问题讨论】：
-
我已经看到它弹出了，而且效果还不错。大多数情况下，它似乎只对常规内容进行相当轻微的爬网，并且某些站点仅请求 robots.txt 文件。至少对于一个不允许搜索结果 URL 的站点，它仍然对这些站点提出了一些请求。但似乎没有什么令人担忧的。但是，如果它正在打击您的网站，那么我会阻止它。如果您感觉不错，可以尝试添加 Crawl-delay 行（如果尚未添加），看看是否有帮助。
-
@bjrn 感谢在爬行延迟中减慢速度的好技巧。我已将其添加到列表中:)
-
没有更多信息？
-
良好的安全研究结果在公开结果中。他们似乎对公开调查结果不感兴趣；那么他们在做“好的”安全研究吗？
-
我通过 IP (35.225.221.87) 和 robots.txt 中的
User-agent: ltx71 - (http://ltx71.com/) Disallow: /阻止了它，因为它在 WordPress 网站上抓取极长的 URL，而其他任何东西似乎都没有。
标签： web-crawler bots