【发布时间】:2010-10-12 12:29:54
【问题描述】:
有什么方法可以抓取使用 AJAX 的网页?
通过在 linux 服务器上使用诸如 ruby + mechanize 之类的东西没有连接监视器(例如 linode.com)
http://watir.com/ 将是一个解决方案,但我想不适用于 linode。
【问题讨论】:
标签: ajax linux web-scraping
有什么方法可以抓取使用 AJAX 的网页?
通过在 linux 服务器上使用诸如 ruby + mechanize 之类的东西没有连接监视器(例如 linode.com)
http://watir.com/ 将是一个解决方案,但我想不适用于 linode。
【问题讨论】:
标签: ajax linux web-scraping
查看TestPlan。它可以在没有监视器的情况下进行测试——通过使用 HTMLUnit 后端。它处理相当多的 JavaScript,包括 AJAX。我用它刮了几页,并用它建立了几个 AJAX 测试。
如果需要,您还可以使用浏览器运行 TestPlan。这为您提供了两全其美的优势:开发测试并直观地查看正在发生的事情,然后切换到无显示模式。
【讨论】: