有没有办法使用 BeautifulSoup/requests 抓取搜索框，然后搜索和刷新？

Question

我正在尝试制作一个可以在大多数网站上发出搜索请求的程序，例如 YouTube、ESPN、我的大学课程时间表等...

我在网上寻找了各种解决方案，但其中许多都指向简单地在您“获取”的网址末尾添加您的搜索查询，但这似乎不适用于所有网站，其中一些网站并不适用当您手动进行搜索时更新他们的 URL，而许多其他人可能会给每个 URL 一个唯一的“ID”。是否可以从任何网站上抓取搜索栏，然后指定搜索查询并输入它？有这样的功能吗？

Answer 1

您需要使用 Selenium 实例来执行此操作。使用 BeautifulSoup 或 requests 无法实现。

Answer 2

可以使用基于文本的网络浏览器并使用脚本自动搜索。然后你可以下载你从这个浏览器获得的网站，然后用 BeautifulSoup 或其他东西抓取它。