“无限滚动网页”网络爬虫

Question

我不知道要抓取无限滚动页面（例如google image）， 有没有人可以建议我哪个“python 工具箱”可以做到这一点或示例..

Answer 1

试试 selenium for python，它有一个允许模拟浏览器的网络驱动程序，所以你可以滚动页面并加载内容。

Selenium 安装页面：https://www.selenium.dev/documentation/en/selenium_installation/installing_selenium_libraries/