如何识别 Facebook 机器人？答案

【问题标题】：How to identify a Facebook bot?如何识别 Facebook 机器人？
【发布时间】：2012-08-06 13:43:34
【问题描述】：

有没有办法通过 IP 可靠地识别 Facebook 机器人？

我的网站受到自称是 facebook 的机器人的攻击，但我怎么确定呢？我正在寻找某种官方程序来验证类似于 Google 为其机器人推荐的 Facebook 机器人 here。

我可以在whois 中解析OrgName 并相信它吗？或者那会是假的吗？

【问题讨论】：

【解决方案1】：

我回答这个问题是为了在互联网上进行关键字索引。

确实，识别 Facebook 机器人 (Facebook Scraper) 的最佳方法似乎是将 IP 与声明的官方 Facebook IP 范围进行匹配，该范围可通过运行获得

whois -h whois.radb.net '!gAS32934'

【讨论】：

更新了来自Facebook's site的查询：whois -h whois.radb.net -- '-i origin AS32934' | grep ^route >> 返回类似的信息，但有两个不同之处：1) 也包括 IPv6 地址。 2）输出格式不同。列表前后没有乱七八糟的“A1063”和“C”。每个地址在一个单独的行中，包括类型（路由或路由6）
whois -h whois.radb.net -- '-i origin AS32934' | grep ^路线

【解决方案2】：

你为什么不直接检查user-agent，比如

facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

而不是IP?

【讨论】：

因为每个 bot 都可以为用户代理发送它喜欢的任何内容 - 而这个问题的主题是识别可能的假 bot 假装 Facebook 的“真实事物”刮板……这正是 Facebook 提供对他们正在使用的 IP 列表的访问权限的原因……
user-agent 可以随心所欲地伪造