爬取时如何从网页地址获取手机页面地址？

Question

我为个人项目制作了“python 抓取工具”，我想从每个网页地址获取移动页面地址。

例如将“www.youtube.com”转换为“m.youtube.com”

我只想知道手机页面地址。

是否可以不使用“selenium”获取移动页面地址？

Answer 1

提供移动网页的方式有两种。

您可以先检查 URL。作为您在 cmets m.youtube.com 中给出的示例，您正在以移动模式浏览。

但您也可以检查 HTTP 标头 User-Agent。此标头显示用于发送查询的浏览器。 服务器可以提取此信息，并根据给定的值可以确定浏览器是移动浏览器还是桌面浏览器。

这将是您的主要问题，并非所有网络服务器都使用相同的方法来处理移动模板。很多网站都使用我解释的这两种方法，并且很难创建一个通用的抓取工具来单独找到如何访问移动模板。

你能做什么：

使用带有 selenium 的移动浏览器：https://github.com/SeleniumHQ/selenium/wiki/WebDriver-For-Mobile-Browsers

或者

如果您想从桌面动态切换到移动设备，请使用用户代理：Change user agent for selenium driver