【问题标题】:Website data retrieval网站数据检索
【发布时间】:2010-11-08 02:19:16
【问题描述】:

最近的article 促使我选择了一个我已经从事了一段时间的项目。我想为多个站点创建一个 Web 服务前端,以允许从结果和站点的其他区域自动完成表单和数据检索。我已经使用Selenium 和自定义代码取得了一定程度的成功,但是我希望将其扩展到添加其他站点是一项微不足道的任务(甚至可能不需要开发人员)的阶段。

Kapow web data server 看起来可以实现很多目标,但我听说它非常昂贵(目前正在等待报价)。有没有人有这方面的经验,或者可以提出任何替代方案(理想情况下是开源的)?

免责声明:我意识到从第三方网站自动检索数据的潜在合法性问题 - 此工具旨在用于价格比较系统,所有与之集成的网站都将完成经业主明确许可。如果网站提供 API,这显然是受欢迎的方法。

谢谢

【问题讨论】:

    标签: api data-retrieval


    【解决方案1】:

    意识到我发布此内容已经有一段时间了,但是如果有人遇到它,我已经在使用 WSO2 框架(尤其是 mashup 服务器)方面取得了很大成功。对于数据挖掘任务,我还使用了这个包装的 Java 库 - webharvest - 它已经实现了我需要的一切

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2014-12-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-11-21
      相关资源
      最近更新 更多