从 HTML 获取动态内容

Question

我正在尝试使用以下代码从 html 页面中捕获 div 的内容：

$content = file_get_contents('http://player.rockfm.fm/');

$content = preg_replace("/\r\n+|\r+|\n+|\t+/i", " ", $content);

preg_match('/<div id=\"metadata_player\">(.*?)<\/div>/', $content , $matchs);

print_r($matchs);

结果为空，因为该代码是由 javascript 或 ajax 生成的。 除了使用https://github.com/neorai/php-webdriver，还有其他方法吗？

解决方案：

    $result = file_get_contents("http://bo.cope.webtv.flumotion.com/api/active?format=json&podId=78");
    $array_full=(json_decode($result, true));
    $symbols = array('"','}','{');
    $array_full['value'] = str_replace($symbols, "", $array_full['value']);

    $array_author_title= explode(",", $array_full['value']);
    $array_author = explode(":", $array_author_title[1]);
    $array_title = explode(":", $array_author_title[2]);

    echo "Author: ".$array_author[1];
    echo "</br>Title: ".$array_title[1];

感谢：@urban 和 How to use cURL to get jSON data and decode the data?

Answer 1

这个页面加载很奇怪（似乎它正在触发 3 个 loadFinished 事件！无论如何，以下代码有效：

// "Normal" JS
function waitForMetadata() {
    // Initialize global meta
    var meta = page.evaluate(function() {
        return document.getElementById("metadata_player")
    }); 

    var txt = meta.innerHTML;
    console.log("meta: '" + meta.outerHTML + "'")
    if (txt != "") {
        phantom.exit(0);
    } else {
        setTimeout(waitForMetadata, 1000);
    }
}


// PhantomJS
var page = require('webpage').create();
page.open('http://player.rockfm.fm/')
page.onLoadFinished = function(status) {
    console.log("Status: " + status);
    if(status !== "success") {
        console.log("FAIL!")
        phantom.exit(1);
    }

    waitForMetadata();
};

第一部分是一个检查div 内容的函数，如果它是空的，它会自行调度，否则打印并退出。第二部分直接来自 phantomJS 教程：声明一个页面，注册一个 onLoad 函数并加载它。

示例输出：

urban@kde-2:/tmp$ phantomjs  ./test.js 
Status: success
meta: '<div id="metadata_player"></div>'
Status: success
meta: '<div id="metadata_player"></div>'
meta: '<div id="metadata_player"></div>'
meta: '<div id="metadata_player"></div>'
meta: '<div id="metadata_player"></div>'
meta: '<div id="metadata_player"></div>'
meta: '<div id="metadata_player"></div>'
meta: '<div id="metadata_player"></div>'
meta: '<div id="metadata_player">GUNS N' ROSES<br><span id="artist">KNOCKIN' ON HEAVEN'S DOOR</span></div>'

注意：加载内容后，您可以使用 JS 做任何您喜欢的事情（而不是打印）。另外，我想你以后想使用span id=artist...

更新 1：

这让我很固执...我无法使用 phantomjs 来实现，但是，我检查了此页面的 ajax 调用，似乎您可以使用以下方式获取当前播放的歌曲：

$ curl 'http://bo.cope.webtv.flumotion.com/api/active?format=json&podId=78'
{"id": null, "uuid": "DFLT", "value": "{\"image\": \"\", \"author\": \"AEROSMITH\", \"title\": \"AMAZING\"}"}

这意味着您可以使用任何您喜欢的语言和json_decodetwice：(1) 用于具有id、uuid 和value 的外部地图和(2) 解码value。我唯一担心的是podId 是否发生变化……但似乎是静态的。

希望对你有帮助