识别访问网站中隐藏链接的用户

Question

最近我在一个网站中放置了一些隐藏链接，以诱捕网络爬虫。 （使用 CSS 可见性隐藏样式以避免人类用户访问它）。

无论如何，我发现有大量的 HTTP 请求引用了访问隐藏链接的浏览器。

E.g : "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"

所以现在我的问题是：

(1) 这些是网络爬虫吗？否则会是什么？

(2) 它们是恶意的吗？

(3) 有没有办法分析他们的行为？

我在网上搜索，但找不到任何有价值的信息。您能否为我提供一些资源，或者任何帮助将不胜感激。

Answer 1

这是一个 HTTP user 代理。他们根本没有恶意。它遵循模式，例如Mozilla/<version> 等等。例如，浏览器是一个用户代理。但是，它们可以被攻击者使用，这可以通过查看异常来识别。你可以阅读这个paper.

超文本传输​​协议 (HTTP) 识别客户端软件 使用“User-Agent”标头发起请求，即使当 客户端不是由用户操作的。

您的问题的答案是：

1. 它们不是网络爬虫。他们是用户代理。网络开发人员的常用术语。
2. 一般来说，它们不是恶意的，但正如我所建议的，它们可能是恶意的，请查看论文。
3. 我不明白你所说的分析行为是什么意思，它们不是恶意软件！