如何作为特定用户代理发送请求 [关闭]答案

【问题标题】：How to send a request as a specific user agent [closed]如何作为特定用户代理发送请求 [关闭]
【发布时间】：2021-08-22 08:47:38
【问题描述】：

我在服务器端为我的 Angular 应用程序实现了预渲染（我只会在某些搜索机器人发送请求时进行预渲染），我想看看是否所有内容都按应有的方式进行了预渲染。当我导航到我的网站时，我将获得通常的 SPA 应用程序，因为请求的发送者不是任何搜索机器人，而是我的浏览器。如何模拟请求是从某个搜索机器人（例如 Google Bot）发送的？

【问题讨论】：

我认为没有办法区分人类请求和机器人请求，以阻止机器人向使用 CAPTCHA 的人发送垃圾邮件。你能展示一下到目前为止你已经尝试过什么来区分机器人和人类吗
我并不是说机器人是一个会尝试调用我的端点的自动化程序。我说的是搜索引擎机器人，它们会尝试抓取我的网站并将其编入索引。

标签： javascript angular express googlebot prerender

【解决方案1】：

我找到了几种方法：

来自prerender.io 文档：

要准确查看预呈现页面，抓取工具将如何查看它，您可以在您的浏览器中将您的用户代理设置为 Googlebot 并访问您的 URL，或在命令行上运行它并将www.example.com 更改为您的网址：

curl -A Googlebot https://www.example.com/

另一种方法是覆盖 Chrome 开发工具中的用户代理字符串。这是展示如何做到这一点的文章：https://developer.chrome.com/docs/devtools/device-mode/override-user-agent/
您可以使用User-Agent Switcher for Chrome Chrome 扩展程序

【讨论】：

那么这是否有效并解决了您的问题？
是的...我使用了第一个解决方案，但我也尝试了第二个解决方案，它也有效...我没有尝试第三个解决方案，但我想它也可以完成这项工作。 ..