PHP：如何基于 Javascript 抓取网站内容

Question

我正在尝试使用 PHP simplehtmldom 库获取该网站的内容。

http://www.immigration.govt.nz/migrant/stream/work/workingholiday/czechwhs.htm"

它不起作用，所以我尝试使用 CURL：

function curl_get_file_contents($URL)
{
    $c = curl_init();
    curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($c, CURLOPT_URL, $URL);
    $contents = curl_exec($c);
    curl_close($c);

    if ($contents) return $contents;
    else return FALSE;
}

但总是只响应一些 JS 代码和内容：

<noscript>Please enable JavaScript to view the page content.</noscript>

有没有可能使用 PHP 来解决这个问题？在这种情况下我必须使用 PHP，所以我需要模拟基于 JS 的浏览器。

非常感谢您的任何建议。

Answer 1

在这种情况下我必须使用 PHP，所以我需要模拟基于 JS 的浏览器。

我推荐你两种方法：

1. 抓取时利用v8js php plugin处理站点的js。请参阅 here 的用法示例。
2. 通过使用Selenium、iMacros 或 webRobots.io Chrome ext 模拟基于 JS 的浏览器。但在这种情况下，您将脱离 PHP 脚本。