通过 URL 搜索 Google 图片，无法抓取页面

Question

我正在尝试通过 url 使用 Google 图片搜索来进行研究。那是在我放弃通过实际图像进行搜索之后，因为我无法真正让它工作。

到目前为止做了什么

使用 PHP，我可以向https://www.google.com/searchbyimage?image_url=https://www.google.com/images/nav_logo117.png 发出 HTTP 请求

如果您将该 URL 复制到浏览器中，您会看到结果（这里似乎发生了一些自动重定向）。

但是，如果您尝试手动请求 URL，例如通过 PHP 或通过http://web-sniffer.net/?url=images.google.com/searchbyimage?image_url=https://www.google.com/images/nav_logo117.png，您会收到一个 HTTP 302 错误，表明该页面已被移动到某个其他 URL。

我提取了那个 URL，在浏览器上试了一下，它又可以工作了。但是，如果您再次手动尝试此 URL，您会收到另一个 HTTP 302 错误，最终将您带到 Google 的主页。

我见过类似的问题：Script to use Google Image Search with local image as input 似乎可以做到，但提问者并没有遇到与我相同的问题

Answer 1

Google 似乎正在根据您请求中的 User-Agent 执行重定向。所以如果你包含一个真正的用户代理——从一个真正的网络浏览器复制的东西——请求应该可以正常工作。

以下是一些适用于我的示例 php 代码：

$location = 'http://www.google.com/searchbyimage?image_url=https://www.google.com/images/nav_logo117.png';

do {
  $ch = curl_init($location);

  curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.0; rv:20.0) Gecko/20100101 Firefox/20.0');
  curl_setopt($ch, CURLOPT_HEADER, true);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

  $data = curl_exec($ch);
  $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
  curl_close($ch);

  $data = str_replace("\r\n","\n",$data);
  list($headers, $data) = explode("\n\n", $data, 2);
  $headers = explode("\n",$headers);

  $location = null;
  foreach ($headers as $header)
    if (stripos($header, 'Location:', 0) === 0)
      $location = trim(substr($header,9));

} while ($http_code == 302 && $location != null);

echo $data;