使用 Jsoup 获取完整的 HTML

Question

我正在使用 Jsoup 库通过选择其中包含“nav”字符串的类属性来抓取网页。

这是获取网站 HTML 的代码：

var bodyString = Jsoup.connect(url)
                .ignoreContentType(true)
                .userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")
                .timeout(12000)
                .followRedirects(true)
                .execute()
                .body();

由 Jsoup CSS 选择器选择的 Html 示例：

然而在浏览器相同的网站 Html 看起来像这样：

如你所见，id="varPreviewMenu" 的 ul 元素包含 Jsoup 检索的 HTML 不包含的 li 元素。

我怎样才能得到这些元素？

Answer 1

您看到的元素很可能是由一些 JavaScript 代码动态添加到 DOM 中的。这意味着当您使用 Jsoup 时，它们在请求正文中不可用。