模仿浏览器行为答案

【问题标题】：Mimicing browser behavior模仿浏览器行为
【发布时间】：2012-05-15 14:16:39
【问题描述】：

我正在获取网页的 htmldump。但我没有得到在运行时由 Javascript 加载的内容。

模拟浏览器行为并提取 htmldump 的最佳方法是什么，这正是我们在浏览器上看到的。

我们正在使用 Java，人们之前也使用过 selenium，但它似乎存在速度问题。

【问题讨论】：

定义速度问题。您可以尝试直接使用 HtmlUnit，不使用 selenium。
据我所知，这花费了太多时间。我没有亲自使用过，所以不能自信地给出详细的描述。感谢 HtmlUnit！

标签： java html selenium browser dom-events

【解决方案1】：

你可以试试HtmlUnit。这是一个支持javascript的无头浏览器，所以它应该能够做你想做的事。

【讨论】：

【解决方案2】：

如果您使用的是 .Net，则可以使用 WebBrowser 控件。

根据 MSDN：

使用户能够在表单内浏览网页。

您可以通过编程方式控制它。

【讨论】：

对不起！！我们用的是java！！更新了问题。

【解决方案3】：

如果您乐于使用 firefox 或 chrome，Selenium 会很快。还有一种方法可以无头运行 Selenium（不是我做过），它也可以提供足够快速的解决方案。否则，有一些帖子和博客 (eg.) 可以解决提高 Seleniums 性能速度的问题。另一种选择是查看 WatiN，尽管这也在 .Net 中，就像 WebBrowser 的 seth flowers 建议一样。

【讨论】：

其他人建议的 HtmlUnit 的任何已知问题？
我没用过，所以不能在这里给任何建议。对不起！