无法使用 curl 检索外部网页的完整 URL

Question

我正在使用 curl 和正则表达式从页面中抓取特定的 URL，以便我可以解析这些子页面。但是，在链接之后，我从母版页检索到的 URL 会发生变化。

例如我从母版页检索以下 URL：

https://www.crowdcube.com/investment/labrador-ltd-22191   
https://www.crowdcube.com/investment/wegow-21995

当我打开这些链接时，浏览器中的 URL 会变为这些：

https://www.crowdcube.com/companies/labrador-ltd/pitches/qayzEq   
https://www.crowdcube.com/companies/wegow/pitches/qY9EXq

这导致我无法在我的 curl 脚本中使用原始 URL。

Answer 1

将 curl 与 CURLOPT_FOLLOWLOCATION 选项一起使用，因此它会自动跟随任何重定向。