【问题标题】:curl problem, can't download full web pagecurl问题,无法下载完整的网页
【发布时间】:2010-09-21 00:25:34
【问题描述】:

我正在尝试使用此代码下载此网页:http://www.kayak.com/s/...

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,'http://www.kayak.com/s/search/air?ai=kayaksample&do=y&ft=ow&ns=n&cb=e&pa=1&l1=ZAG&t1=a&df=dmy&d1=4/10/2010&depart_flex=exact&r1=y&l2=LON&t2=a&d2=11/10/2010&return_flex&r2=y');

 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
 curl_setopt($ch, CURLOPT_FAILONERROR, true);
 curl_setopt($ch, CURLOPT_REFERER,"http://wwww.google.com"); 

 $content = curl_exec ($ch);
 echo $content;

您可以在以下位置查看演示:http://www.pointout.org/test.php
如您所见,缺少价格部分。
有什么问题?

【问题讨论】:

    标签: php curl web-scraping


    【解决方案1】:

    这不会像你想象的那样奏效。原因是价格不在您获得的初始 HTML 响应中。相反,当页面加载时,发生了一些使用 AJAX 加载价格的 Javascript 魔法。

    【讨论】:

    • 是的,但是 httrack (httrack.com) 如何下载这个网页,效果很好。
    • 这是因为 httrack 不仅仅是使用 cURL 加载页面。 httrack 还解析它加载的 HTML,然后获取所有其他资源,例如图像、外部 Javascript 等。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-04-16
    • 1970-01-01
    • 2020-11-22
    相关资源
    最近更新 更多