是否可以用beautifulsoup 抓取“动态网页”？

Question

我现在开始使用beautifulsoup来抓取网站，虽然我对网页缺乏理论知识，但我想我已经掌握了基础知识，我会尽力提出我的问题。

我对动态网页的意思如下：一个网站，其 HTML 会根据用户操作发生变化，在我的例子中是可折叠表格。

我想获取一些“div”标签内的数据，但是当你加载页面时，数据在 html 代码中似乎不可用，当你点击它展开的表格时，以及这个“div”的“类”从“某事 blabla collapsible”变为“某事 blabla collapsible active”之类的变化，这我可以用我的知识刮掉。

我可以使用 beautifulsoup 获取这些数据吗？万一我做不到，我想用selenium之类的东西来点击所有的表格，然后下载我可以抓取的html，有没有更简单的方法？

非常感谢。

Answer 1

这取决于。如果页面加载时数据已经加载，那么数据可以被抓取，它只是在不同的元素中，或者被隐藏。如果点击事件以某种方式触发数据加载，那么不，您将需要 Selenium 或其他无头浏览器来自动执行此操作。

Beautiful soup只是一个 HTML 解析器，因此无论您通过请求页面获得的任何数据都是 beautiful soup 可以访问的唯一数据。