【问题标题】:using wget to download all data from a webpage使用 wget 从网页下载所有数据
【发布时间】:2013-02-24 18:28:16
【问题描述】:

我需要能够仅将页面中的数据下载到文本文件中,以便稍后使用不同的程序进行解析。我已经在其他网站上使用过这种语法并且效果很好,但是我遇到了一个只有一个网站的程序。

这是我使用的网站和语法:

WGET.EXE http://quotes.morningstar.com/fund/AAAAX/f?t=AAAAX -O AAAAX.TXT --no-check-certificate -owebdata/logfile.txt

这会下载页面,但我需要查看的关键数据不存在。例如: 费用 营业额和状态数据不存在

我知道脚本正在使用子程序来生成数据,但我知道 WGET 能够将输出下载到文件中,我只是不清楚要设置什么标志或选项来实现它

【问题讨论】:

    标签: wget


    【解决方案1】:

    费用和营业额等状态数据是在页面上使用javascript设置的。据我所知,当javascript在浏览器上运行时,您无法获得它,因为它是在客户端生成的。

    【讨论】:

    • 这就是我害怕的。 WGET 是否无法查看所有显示的数据并保存到文件中。基本上就像视频捕捉一样?
    • 是的,有一些方法......但在此之前请重新考虑网络抓取,因为它在某些网站上被认为是非法的。请阅读他们的服务条款,然后继续。看看他们是否有你可以使用的 API。回到另一种方式,我认为您需要尝试PhantomJS
    • 我认为我使用它的三个网站中的任何一个都不会介意,因为我把钱都投资在这三个网站上。该网站的数据基本上就像他们免费提供的基金筛选器一样使用,但我发现不足以满足我的需求。但我完全理解你的观点。我会检查你的选择...谢谢
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2013-12-05
    • 1970-01-01
    • 1970-01-01
    • 2012-06-02
    • 2018-04-25
    • 1970-01-01
    • 2013-11-21
    相关资源
    最近更新 更多