【问题标题】:Kissmetrics data scrapingKissmetrics 数据抓取
【发布时间】:2011-12-08 00:32:36
【问题描述】:

Kissmetrics 是一个非常酷的软件包,但不提供根据您在仪表板上创建的“指标”构建您自己的小部件的能力。我一直在做一些调查,看起来在页面加载后,发生了一些返回一些数据和指标小部件的 js 魔法。

我试图通读 js 以找出数据是从哪里提取的或何时写入的,但是在视觉上解析很痛苦。

有什么方法可以确定 js 通过 AJAX 提取数据的位置吗?我希望它出现在 Firebug 的 Net 或 Console 选项卡中,但不幸的是它没有出现。

对此的任何帮助都会很棒!

【问题讨论】:

    标签: javascript screen-scraping metrics kissmetrics


    【解决方案1】:

    您可能已经继续前进,但我找到了一个基于此blog post 中概述的解决方案的有效解决方案。其中一些已经过时了,因为他们正在更新他们的代码,但基础知识已经存在:

    1. 找出发送请求的位置
    2. 签署您的请求
    3. 向某个 URL 发出一系列请求

    Kissmetrics 还在 JS 中实现了他们的大部分 URL 生成代码,如果你知道在哪里看的话,这非常易读。我强烈建议在发出一些请求时查看网络检查器,您将能够从那里进行逆向工程。除了该博客文章中的 PHP 脚本之外,我还为此构建了一个 ruby​​ gem,希望很快就会可用。

    【讨论】:

    • 我是您提到的博文的作者。该代码从一开始就可用,但隐藏在文章的文本链接中。为了清楚起见,我添加了一个大的下载按钮。你说它已经过时了,愿意提供更多细节吗?
    • @jdangu 特别是几件事,主要是关于签名生成。现在从 sha512 中删除了换行符。您所做的“奇怪” URL 编码也是不必要的。由于 PHP->Ruby 端口,我可能没有注意到其他更改。你仍然得到有效的数据吗?因为我没有,使用你的脚本
    猜你喜欢
    • 1970-01-01
    • 2017-09-04
    • 2013-02-07
    • 2020-01-13
    • 2011-11-06
    • 2010-12-30
    • 1970-01-01
    • 2020-01-23
    • 2022-11-29
    相关资源
    最近更新 更多