【问题标题】:How extract data from a site which does not provide a restful service?如何从不提供宁静服务的站点中提取数据?
【发布时间】:2014-02-27 23:18:45
【问题描述】:

它也包括登录网站。 尝试从显示一些客户数据分析的站点获取数据。如果我的应用显示了这些数据,我需要:

  1. 登录网站。
  2. 转到一个网址
  3. 从 url 页面获取数据。

有什么方法可以实现?
是不是可以通过网页抓取来实现?

【问题讨论】:

    标签: javascript ruby-on-rails node.js web web-scraping


    【解决方案1】:

    是的,你会为此使用抓取。您的关键字中有 node.js。如果您打算为此使用 Node.js,那么您应该查看 Phantom.js

    【讨论】:

      【解决方案2】:

      是的,抓取将是解决此问题的方法。如果您使用的是 Ruby,请查看 Nokogiri 之类的内容来解析,然后从各个页面的 HTML 中抓取内容。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2018-09-05
        • 2011-09-16
        • 2016-01-24
        • 2018-09-23
        • 2010-12-01
        • 1970-01-01
        • 2013-09-27
        • 1970-01-01
        相关资源
        最近更新 更多