【发布时间】:2023-12-16 09:58:01
【问题描述】:
在我的网络服务器中,我试图检测helo App 爬虫何时访问我的网站,然后在我的服务器上获取响应并返回生成的页面(具有最少的元信息)而不是正常的 JS 页面。
我正在尝试使用 ToutiaoSpider userAgent for helo。但它不起作用。有谁知道helo App使用的是哪个用户代理
【问题讨论】:
标签: browser web-crawler user-agent
在我的网络服务器中,我试图检测helo App 爬虫何时访问我的网站,然后在我的服务器上获取响应并返回生成的页面(具有最少的元信息)而不是正常的 JS 页面。
我正在尝试使用 ToutiaoSpider userAgent for helo。但它不起作用。有谁知道helo App使用的是哪个用户代理
【问题讨论】:
标签: browser web-crawler user-agent
Helo 仅使用 ToutiaoSpider 作为其 userAgent。
【讨论】: