【发布时间】:2019-01-23 14:47:56
【问题描述】:
如果 Facebook 刮板请求页面(我们在 facebook 墙上共享指向我们页面的链接),我们要求不向我们的服务器发送特定的 ajax 请求,并且我们尝试检查基于 javascript 的用户代理在https://developers.facebook.com/docs/sharing/webmasters/crawler/ 上,但我们注意到我们通过普通用户代理(如“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0 .3578.98 Safari/537.36") 是错误吗?任何解决方法(除了寻找 facebook ip-addresses)?
【问题讨论】:
标签: facebook web-crawler user-agent