如何使用 C# 在 html 文档中抓取由 JavaScript 动态生成的数据？
在 C# 库中使用WebRequest 和HttpWebResponse，我可以将整个 html 源代码作为字符串获取，但困难在于我想要的数据不包含在源代码中；数据由 JavaScript 动态生成。
另一方面，如果我想要的数据已经在源代码中，那么我可以使用正则表达式轻松获取它们。
我已经下载了HtmlAgilityPack，但我不知道它是否会处理JavaScript动态生成项目的情况......
非常感谢！
【问题讨论】：
标签： c# javascript html http dom
当您发出 WebRequest 时，您是在要求服务器向您提供页面文件，该文件的内容尚未被 Web 浏览器解析/执行，因此其上的 javascript 尚未执行任何操作。
如果您想查看页面被浏览器解析后的样子，您需要使用工具在页面上执行 JavaScript。您拥有的一种选择是使用内置的 .net Web 浏览器控件：http://msdn.microsoft.com/en-au/library/aa752040(v=vs.85).aspx
Web 浏览器控件可以导航到页面并加载页面，然后您可以查询它的 DOM，该 DOM 将被页面上的 JavaScript 更改。
编辑（示例）：
Uri uri = new Uri("http://www.somewebsite.com/somepage.htm");
webBrowserControl.AllowNavigation = true;
// optional but I use this because it stops javascript errors breaking your scraper
webBrowserControl.ScriptErrorsSuppressed = true;
// you want to start scraping after the document is finished loading so do it in the function you pass to this handler
webBrowserControl.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(webBrowserControl_DocumentCompleted);
webBrowserControl.Navigate(uri);
private void webBrowserControl_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
{
HtmlElementCollection divs = webBrowserControl.Document.GetElementsByTagName("div");
foreach (HtmlElement div in divs)
{
//do something
}
}
【讨论】：
你可以看看像 Selenium 这样的工具，用于抓取具有 Javascript 的页面。
【讨论】：