寻找“网络抓取脚本生成器”[关闭]答案

【问题标题】：Looking for a "web-scraping script builder" [closed]寻找“网络抓取脚本生成器”[关闭]
【发布时间】：2011-12-03 22:53:43
【问题描述】：

我正在编写代码以使用 HTMLUnit 从某些网站访问和下载数据。

我想知道是否存在可以帮助我的工具。我想可能是一个可视化工具，它可以让您直观地表达您想要在网站上遵循的路径并生成 Java 代码。

我想要一些用于 HTMLUnit 的东西，但我愿意接受其他解决方案。

编写屏幕抓取代码变得非常重复:(

【问题讨论】：

【解决方案1】：

我曾经在screen-scraper 工作。不确定它是否正是您想要的，但它绝对是构建网络抓取脚本的强大工具。

【讨论】：

【解决方案2】：

不完全是可视化工具，但也许您可以使用JMeter 或The Grinder 之类的工具来记录网页的导航脚本。它们肯定比在 HTMLUnit 中手动编写所有输入请求更容易使用。

【讨论】：

【解决方案3】：

只有一种工具可以做到这一点 - 并且做得非常好 - 但它非常昂贵，因为他们的技术令人惊叹。一些最大的公司使用它。如果您想尝试一下，我认为您可能可以获得免费的线索。 http://kapowsoftware.com/

【讨论】：