Python Web Scraping - 带有动态数据的表

Question

我想从动态变化的表中抓取数据。

当您第一次打开网站时，该表是空的，但每隔 1-2 秒就会更新一次新值。

我尝试使用 requests 和 lxml python 包（Hitchiker's Guide to Python）来做到这一点，但我只得到空表。

然后我用 Selenium 做了，但是总是启动一个新的浏览器有点太慢了（我需要每 20-30 秒获取一次值）。

该表使用名为Lightstreamer 的消息服务。

Answer 1

与其每次都启动一个新的浏览器，不如使用类似于PhantomJS 的东西。它会用 Selenium 加速你的代码。或者尝试 Splash 使用 Scrappy 而不是 Selenium。归根结底，如果不看看你做了什么或尝试了什么，就很难帮助你。还有很多关于如何在这个网站或谷歌上使用它们的指南。