如何让 Firebug 匹配 HtmlUnitDriver 页面源报告？

Question

我正在使用 Java 和 Selenium 库来抓取网页。当我在 Firefox 的页面上使用 Firebug 时，我可以看到页面的源代码包含以下 HTML 结构：

<div>
    <div>
        <table>
            <caption />
            <thead />
            <tbody />
        </table>
    </div>
</div>

但是，当我使用 HtmlUnitDriver 以编程方式下载页面的源代码，然后使用 driver.getPageSource() 时，我看到相应的 HTML 结构已更改为：

<div>
    <table>
        <caption />
        <tbody />
    </table>
</div>

1. 为什么 HtmlUnitDriver 的报告与 Firebug 给出的报告不同？
2. 我可以设置 firebug 以便根据 HtmlUnitDriver 报告的方式检查 HTML 结构吗？

Answer 1

请注意，Firebug 不会以这种方式调整 HTML 结构，即集成的开发人员工具应该向您显示相同的内容。

我假设第二个包装 <div> 和 <thead> 是由页面上运行的一些 JavaScript 添加的。

您可以通过禁用 JavaScript 来检查，例如通过转到about:config 并将javascript.enabled 设置为false 或通过NoScript 或Ghostery 等插件。