简单的 HTML DOM 获取用 JS 加载的动态内容

Question

我正在尝试从网页获取动态加载的内容。特别是加载到选择的选项。所以如果我这样做：

$options = $html->find('select[class=theSelectClass]')[0]->find('option');
foreach($options as $option){
     echo $option->text().'<br>';
}

这按预期工作，我的输出是：

Select an option

为什么？因为其他选项都是页面加载后用JS加载的。所以我的问题是如何在选择中获取这个动态加载的选项？

这是我使用 JS Ajax 和另一个 PHP 页面的尝试：

在我的包含 simple_html_dom 的 php 中：

$html->load_file($base);
$var = '<script>

    var xhttp = new XMLHttpRequest();
    xhttp.onreadystatechange = function() {
        if (this.readyState == 4 && this.status == 200) {
           this.responseText;
        }
    };
    xhttp.open("GET", "http://localhost/crawler/ajax.php?param=HelloWorld", true);
    xhttp.send();

</script>';
$e = $html->find("body", 0);
$e->outertext = $e->makeup() . $e->innertext . $var . '</body>';

还有我的 ajax.php 文件：

file_put_contents ( 'ajax.txt' , $_GET['param']);

我试图查看是否可以从 html 加载的文件中发送 Ajax 调用，但我觉得我做不到。那么我该如何实现呢？

谢谢

Answer 1

首先使用无头浏览器呈现页面然后将其传递给简单的 html dom 可能更容易。您可以使用 CasperJS/PhantomJS 或其他使用 javascript 呈现页面的工具来执行此操作。

`

require("vendor/autoload.php");
use Sunra\PhpSimple\HtmlDomParser;
use Browser\Casper;
$casper = new Casper();
// forward options to phantomJS
// for example to ignore ssl errors
$casper->setOptions(array(
    'ignore-ssl-errors' => 'yes'
));
$casper->start('https://www.reddit.com');
$casper->wait(5000);
$output = $casper->getOutput();
$casper->run();
$html = $casper->getHtml();
$dom = HtmlDomParser::str_get_html( $html );
$elems = $dom->find("a");
foreach($elems as $e){
    print_r($e->href);
}

?>`