如何使不遵守我的 robots.txt 文件的网络爬虫崩溃？ [关闭]

Question

我应该将哪些数据发送给不良网络爬虫，以便让它们崩溃？

Answer 1

更好的策略是创建黑名单。许多恶意爬虫寻找“标准”URL。例如，我不运行 PHP 网站，所以我知道如果有人向我请求 PHP 文件，他们就是网络钓鱼。所以我阻止他们：立即无条件地。

使用 www.projecthoneypot.org 的服务，它可以帮助您识别“可疑”爬虫：然后您可以决定让它们继续或阻止它们。

如果您真的愿意，您可以向他们发送大量文件而不是阻止他们，但请记住：他们是机器人，并且拥有世界上所有的耐心。