是否可以在 Web 应用程序中使用 Selenium？

Question

我正在用 Django 构建一个网站，该网站将从某个站点抓取数据，因此人们可以进入该站点，设置自定义数据过滤器并以友好的格式查看抓取的数据。

问题在于 requests 和 beautiful soup 模块不足以用于抓取目的，因为我还需要完成一些自动化操作（加载 javascript 或单击按钮）。

由于 Selenium 需要下载 Web 驱动程序并将其放入路径中，是否可以在 Web 应用程序中使用它？喜欢在某处托管网络驱动程序？

我也对 Selenium 以外的解决方案持开放态度，如果有的话。

Answer 1

我想你会想要一个 selenium 网格服务器。

https://www.seleniumhq.org/docs/07_selenium_grid.jsp

基本上，您将它托管在某个远程服务器上，然后您可以连接到它并远程启动 Web 驱动程序，并根据需要在代码中使用它们。它还带有一个方便的界面，用于检查当前浏览器实例，甚至截取屏幕截图或从 web ui 执行脚本。