从网站获取 301 重定向链接答案

【问题标题】：fetch a 301 redirected link from a website从网站获取 301 重定向链接
【发布时间】：2013-09-15 07:49:50
【问题描述】：

我正在编写一个简单的爬虫，它应该从网络上获取信息。

商家为我提供了一个搜索链接，我可以在其中传递我的查询，例如http://www.merchant.com?query=<query_text> 被重定向到商家服务器中的实际产品页面。

如果我知道这是通过 301 重定向，有没有办法在 php 中获取重定向的 url。

另一个类似的问题是，另一个商家有基于 jquery 的重定向，基于类似的查询搜索，商家通过windows.document.href="final url" 重定向到另一个页面。

还有什么方法可以获取此信息。任何帮助都非常感谢。

【问题讨论】：

标签： php redirect web-crawler

【解决方案1】：

对于您的第一个案例，您可以使用 PHP cURL 实现此目的。

试试这样的。（只是一个开始）

<?php
$query="your search query";
$url = "http://www.merchant.com?query=" . $query;
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE); // This is important (for redirect)
$output=curl_exec($ch);//This variable contains the info of your search result 
echo $output;

【讨论】：