如何使用 PHP/Curl 浏览分页结果？答案

【问题标题】：How to go about trawling through pagination results with PHP/Curl?如何使用 PHP/Curl 浏览分页结果？
【发布时间】：2009-07-18 05:14:44
【问题描述】：

例如，我想从 Google 的前 3 页中获取结果。所以基本上我想要前 30 名的结果。我可以抓取第 1 页上的前 10 个，但是我如何告诉 Curl 完成第一页后，“单击”第二页等等？

【问题讨论】：

【解决方案1】：

只需仔细查看 URL：

首页：

http://www.google.com/search?q=lmgtfy

第二页：

http://www.google.com/search?q=lmgtfy&start=10

【讨论】：

非常适合我的例子！ - 但是假设在任何其他情况下，分页链接是模糊的，你不能增加值，是否可以让 Curl “点击”到另一个页面上？
对此没有通用的答案，屏幕抓取始终是自定义工作。但是，在 99.99% 的情况下，每个页面都会增加一些 URL 参数。 Google 使用&start=xx，其他人可能使用&page=x，还有其他人使用/offset:x/ 或诸如此类。只需分析第一页、第二页和第三页之间的差异，您通常很快就会弄清楚。