用Java获取网页源代码答案

【问题标题】：Getting web page source code in Java用Java获取网页源代码
【发布时间】：2014-07-06 23:16:16
【问题描述】：

我使用 Java。我想获取网页源代码，但在页面上运行 JavaScript，我想获取由 JavaScript 生成的代码（我们在 firefox 的 firebug 中看到的代码）有谁知道我该怎么办？

【问题讨论】：

标签： java javascript firebug

【解决方案1】：

要在 JavaScript 修改后检查页面，您需要一个可以运行脚本的客户端 JavaScript 引擎，然后让您检查 DOM。

HtmlUnit 可以做到这一点 - 它是“Java 程序的无 GUI 浏览器”。

另见this question

但是，这不会为您提供确切的原始页面源，因为此时已将其解析为 DOM。

【讨论】：

您不需要“客户端”JavaScript 引擎。
@meagar 你能详细说明一下吗？ 有些东西需要执行 JavaScript...

【解决方案2】：

我想你想看看通过 AJAX 加载页面后创建的 DOM 元素的源代码。

如果这是您想要的，查看它的唯一方法是通过 DOM 检查器，例如 firefox 中的 firebug 或 Chrome 中的 Developers Tools。转到“查看源代码”仅在加载时显示源代码。

【讨论】：

在 JAVA 中不可能得到这个吗？也许用其他语言？

【解决方案3】：

如果我理解您的问题，是的，您的 javascript 对象可以通过使用 inputelements 创建一个 html <form> 元素，用您的值填充它们然后提交表单，或异步传递回您的 java 后端通过 ajax/json （不需要重新加载您的网页）。对于这两种方法，您需要在 java 端配置一个端点来接收提交的数据并向客户端（即您的 javascript）返回某种确认。我建议在 javascript 端搜索“jQuery.post”并为您的 java 后端查找一些示例。

【讨论】：