刮 Trivago 问题

Question

我正在使用以下代码来抓取网页：

$ch =curl_init("http://www.trivago.de/?aDateRange%5Barr%5D=2015-08-07&aDateRange%5Bdep%5D=2015-08-10&iRoomType=7&bIsTotalPrice=false&iPathId=3577&iGeoDistanceItem=1473453&iViewType=0&bIsSeoPage=false&bIsSitemap=false&");
 $fp = fopen("example_homepage.txt", "w");

 curl_setopt($ch, CURLOPT_FILE, $fp);
 curl_setopt($ch, CURLOPT_HEADER, 0);

$output = curl_exec($ch);
curl_close($ch);

但我得到的网页与真实页面不正确或不完整。

我得到的这个不完整：

What I getting by scrape

实际网页是这样的：
Actual page

Answer 1

您的 CURL 应该与手头的任务类似：

$ch = curl_init();
curl_setopt($ch,CURLOPT_URL,'http://yourwebiste.com');
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,5); //5 seconds
$result = curl_exec($ch); //$result now holds fetched data
curl_close($ch);

代码是我自己的 CURL 库的一部分。请记住，您获取的不是文件，而是返回的 HTML 内容。