重定向 URL 中的 PHP 爬虫

Question

我调用一个 URL，两秒钟后它打开一个随机 URL。 我想要第二个 URL 的内容。 我尝试了 Goutte 和 CURL，但它不能正常工作，可能是因为重定向延迟。 有人有解决办法吗？

Answer 1

要使用 cURL 遵循标准 HTTP 重定向，请设置 CURLOPT_FOLLOWLOCATION 选项：

curl_setopt($handle, CURLOPT_FOLLOWLOCATION, true);

See docs

如果重定向是通过非标准方式完成的，即 JavaScript，这将不起作用。