区分来自机器人和浏览器或应用程序的 http 调用

Question

由于机器人可以操纵 User-Agent 标头，因此检查 User-Agent 并不是区分机器人和真实设备（即浏览器或应用程序）的正确选择。

是否有可靠的方法来区分机器人和设备，或者我们必须接受它？

Answer 1

我认为基本上你不能，反正不是很有信心。

一个明显的方法是使用验证码来验证您的操作员可能是人类。但这些对实际的人来说很烦人。

或者在 javascript 中设置一些 cookie，虽然这也很容易绕过。

如果做不到这一点，也许可以看看连续请求之间的时间差异。如果它们相差几毫秒，那么它肯定是机器人。

在页面上创建一个不可见的链接（通过操纵颜色），如果有什么蜘蛛链接，你可以确定你有一个机器人，或者至少是一个好奇的人。