【发布时间】:2019-01-08 16:18:16
【问题描述】:
我想从此链接获取html内容
https://store.nike.com/in/en_gb/pw/boys-shoes/7pvZoi3
为此,我创建了以下 curl 请求 php 脚本
$ua = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.A.B.C Safari/525.13';
$ch = curl_init();
curl_setopt($ch,CURLOPT_URL, 'https://store.nike.com/in/en_gb/pw/boys-shoes/7pvZoi3');
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch, CURLOPT_USERAGENT, $ua);
curl_setopt($ch, CURLOPT_COOKIE, '<Pasted_cookie>');
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_MAXREDIRS, 20);
$result = curl_exec($ch);
$last = curl_getinfo($ch, CURLINFO_EFFECTIVE_URL);
curl_close($ch);
print_r($result);
但上面的脚本将我重定向到显示屏幕以选择区域的页面。 请帮助我,因为我需要更改才能使脚本正常工作。
谢谢。
【问题讨论】:
-
我建议你使用Selenium。第一步,这将允许您与网站交互以关闭位置窗口。然后就可以正常使用Curl了。所有这些,都应该在一个脚本中。
-
@KubiRoazhon,您能否提供一个有助于完成此任务的参考链接?
标签: php curl web-scraping