使用 Python 使用 Javascripts 函数抓取网页

Question

我需要从网页中检索一些信息。该页面就像一个幻灯片：一张一张地显示几张幻灯片。要从一张幻灯片移动到另一张幻灯片，您必须按下一个运行 js 函数“load_image_btn('plus')”的按钮，该函数会更改图像。 URL完全一​​样，HTML代码只改变了img“someurl/546”的de URL。

有什么方法可以从 python 中迭代地执行该函数，以便我可以获取所有图像？

Answer 1

处理 Javascript 引发的问题的一种通用方法是使用无头浏览器来完全执行每个页面，然后从那里抓取。

在我上一个类似项目中，我使用了一项服务，该服务提供可通过 API 控制的无头网络浏览器实例，即https://scrapinghub.com/splash。

但我相信有很多选择。