如何在 PHP 中抓取需要 cookie 和 javascript 的页面答案

【问题标题】：How to scrape page requiring cookies and javascript in PHP如何在 PHP 中抓取需要 cookie 和 javascript 的页面
【发布时间】：2012-03-26 16:07:36
【问题描述】：

有没有一种简单的方法来模拟 cookie 和 javascript，使用 php 脚本抓取需要它的网页？

当前响应显示：

<body><noscript>This site requires JavaScript and Cookies to be enabled. Please change your browser settings or upgrade your browser.</noscript></body>

我把它放在代码中，它没有任何区别：

$strCookie = 'PHPSESSID=' . $_COOKIE['PHPSESSID'] . '; path=/';
curl_setopt( $ch, CURLOPT_COOKIE, $strCookie );

【问题讨论】：

您是否有特定原因要在服务器端而不是客户端执行此操作？
脚本正在解析以创建一个 rss 提要，然后变成一个 twitter 提要，并且底层站点也对这种安排感到满意。

标签： php javascript cookies curl scrape

【解决方案1】：

<noscript> </noscript> 中的 HTML 只有在禁用 Javascript 时才会显示。所以这是测试Javascript是否开启的测试。

有jQuery-cookie-plugin 用于读取、写入和删除cookies。但如果禁用了 Javascript，它将无法正常工作。

要检查是否使用 PHP 代码启用了 cookie，您需要设置 cookie 并使用另一个请求读取 cookie。 This post 有一些指南。

【讨论】：

【解决方案2】：

有没有一种简单的方法来模拟 cookie 和 javascript，使用 php 脚本抓取需要它的网页？

没有。

【讨论】：