如何知道 HTML 页面需要由 JS 编译器渲染？答案

【问题标题】：How to know HTML page needs to be rendered by JS compiler?如何知道 HTML 页面需要由 JS 编译器渲染？
【发布时间】：2018-05-28 14:26:25
【问题描述】：

我正在尝试爬取一些网站，虽然我正在使用带有 selenium 的无头 chrome 浏览器来渲染一些嵌入了 JS 的 HTLM，但我也想简单地使用请求，用于不需要 JS 代码渲染的情况.

有没有办法知道 HTML 是否需要由浏览器呈现，或者一个简单的 requests.get() 是否会给我完整的 HTML 内容？

【问题讨论】：

【解决方案1】：

任何由标签生成的 HTML 代码都不会被请求检索。

了解页面是否需要由浏览器呈现以生成整个内容的唯一方法是检查其 HTML 代码是否有标签。

不过，如果你感兴趣的信息不是由 JS 生成的，requests.get() 会很好地为你服务。

【讨论】：