使用 Python 执行 jQuery 和 Javascript 后获取 Html 页面

Question

我已将网页内容导入 python 中的变量，但我没有得到最终结构（通常由 Ajax 和 jQuery 修改的结构）。

我该如何解决这个问题？ 如果我从浏览器保存页面，我想获得 html 作为我看到的那个。

这是我的代码：

import urllib.request

urlAddress = "http:// ... /"
getPage = urllib.request.urlopen(urlAddress)
outputPage = str(getPage.read())
print(outPage)

Answer 1

您不能只从服务器获取页面源。您需要执行以下操作之一：

• 使用无头浏览器或类似解决方案（Selenium、Splash、PhantomJS，...）在页面本身运行 JS 代码并查看结果。
• 找出 JS 代码的实际作用，并在 Python 中重新创建。如果它正在对服务器进行另一次调用，您可以在 Chrome 上的开发者工具的 XHR 选项卡中看到它。