如何在没有 Selenium 的情况下抓取 JavaScript 呈现的页面

Question

我必须在 Python 中抓取一个 JavaScript 呈现的页面，但没有 Selenium。它必须适用于任何页面，但我还没有找到合适的方法。我该怎么做？

Answer 1

requests-HTML 使用 Chromium 来呈现 JavaScript。

它会在您第一次运行渲染时将 Chromium 下载到您的主目录中。

r = session.get('http://python-requests.org/')
r.html.render()
r.html.search('Python 2 will retire in only {months} months!')['months'] '<time>25</time>' 

来源：Documentation