在会话期间保存所有 XHR 响应答案

【问题标题】：Save all XHR responses during session在会话期间保存所有 XHR 响应
【发布时间】：2014-07-01 00:01:08
【问题描述】：

我正在浏览 Angie's List 网站，并在 Chrome 中打开了我的 Fiddler 扩展程序，每次页面加载后，Fiddler 都会捕获该页面的 XHR 响应（我相信它只是一个像素跟踪器，指示我访问了一个新的事件页）。我希望能够在 CSV 文件中自动捕获这些响应的内容。因此，例如，如果我运行“python getXHR.py http://www.angieslist.com”，我希望我的 csv 输出文件附加：

angieslist.com,http://536371345.log.optimizely.com/event?a=536371345&d=536371345&y=fal...

我该怎么做？我比其他语言更了解 Python，但其他语言也很好。如果有办法直接通过 Fiddler/Firebug 做到这一点，那也很好。

【问题讨论】：

XHR 由JavaScript 发送，Python 在从服务器获取页面时不会运行 JavaScript 代码。 Selenium 之类的工具会加载页面并运行 JavaScript，但我不知道它是否可以保存 XHR 调用。

标签： python xmlhttprequest web-scraping

【解决方案1】：

使用NetExport（firebug 的扩展），您可以将所有请求保存为 JSON，然后您可以使用 Python（和模块 json）查找带有 X-Requested-With: XMLHttpRequest 的请求

顺便说一句：NetExport 有Auto Export

【讨论】：