如何捕获来自启用 AJAX 的网站的数据？答案

【问题标题】：How to capture data coming from an AJAX enabled web site?如何捕获来自启用 AJAX 的网站的数据？
【发布时间】：2011-08-29 10:03:38
【问题描述】：

前段时间，我创建了一个应用程序，用于从一个导航它的 asp 站点动态捕获数据，解析我得到的 html 页面并将选定的数据存储到数据库中。

现在我需要再次做同样的事情，但这次网站是使用 AJAX 开发的，我不知道如何面对这个问题。欢迎任何想法。

谢谢。

【问题讨论】：

【解决方案1】：

我建议两种方法来解决你的问题：

1) 如果您为一个需要检索大量数据的特定站点创建爬虫，请手动编写这些请求（例如，使用 WebRequest 类）

2）如果你需要通用的解决方案，尝试一些GUI测试工具（Selenium、Telerik WebAii等）将浏览器运行到站点中，这样JS和AJAX就会被浏览器执行。

取决于你。

【讨论】：

我将只抓取一个站点（一个证券交易所站点）并将其数据记录到数据库中。该网站使用 AJAX 刷新屏幕上的股票信息。那么你认为我可以使用 HttpWebRequest 类来完成这项工作吗？
@SoMoS 当然。我正在为基于 AJAX 的网站自动执行负载测试，我的工作流程是这样的：使用 Fiddler 捕获 AJAX 请求，了解正在发生的事情，然后使用 HttpWebTestRequest 将其自动化。
@SoMoS 我为此使用了 Visual Studio Team Suite 2008，但通常的 HttpWebRequest 应该为您提供相同的功能，除了您不需要的多线程测试。
@SoMoS 而且，这个自省可能无聊 :)
+1 '因为你让我笑了 :D 好的，我已经摆弄了这件事，看起来很清楚。我也有网站用来执行请求的 javascript，所以我认为这应该不难。我唯一不确定的是 https 连接是否会让事情变得更难。感谢您的回答！