如果有加载更多数据按钮，则使用 BeautifulSoup 进行网页抓取

【问题标题】：Web scrapping using BeautifulSoup if there is a Load More Data Button如果有加载更多数据按钮，则使用 BeautifulSoup 进行网页抓取
【发布时间】：2022-01-13 11:35:20
【问题描述】：

是否可以点击“加载更多数据”按钮，然后使用 BeautifulSoup 进行解析？

【问题讨论】：

不，您需要能够解释和运行页面上的 javascript 的东西，即无头浏览器。 BeautifulSoup 通常做不到。
您可以建议哪个库执行此点击操作，然后从更新的页面中抓取网页？

标签： python web-scraping beautifulsoup

【解决方案1】：

“点击”一个元素可以通过对按钮链接到的任何 url 发出请求来完成。如果您打开浏览器的开发者工具 - 网络 - 获取/XHR 并单击该按钮，您应该能够查看是否发生了您可以在脚本中模仿的任何后端网络请求。

要在物理上“点击”某些东西，需要像使用 Selenium 一样自动化浏览器。

【讨论】：

“点击”按钮完成后，它停留在同一个链接上，只是加载了更多数据。我想知道是否有办法告诉 Beautiful Soup 查看页面的所有加载数据。