如何在php中使用curl获取所有页面分页数据答案

【问题标题】：How to get all page pagination data using curl in php如何在php中使用curl获取所有页面分页数据
【发布时间】：2014-04-18 13:30:06
【问题描述】：

我已经实现了一个使用 CURL 获取数据的数据抓取脚本。

但是那只获取记录只有一页，但我想要所有数据，因为在那一页上有分页。

我们正在使用

获取数据

$xpath = new DOMXPath($dom);
$xpath_resultset =  $xpath->query("//div[@class='parentListing']");

在上面的代码中，parentListing 是 div 类，我在 div 和 grep 之间使用不同的不同类获取记录。

谁能知道如何获取所有页面的分页数据。

如果有人有任何建议，请帮助我。

谢谢...

【问题讨论】：

【解决方案1】：

我认为没有通用的分页类型。你应该知道分页元素 div,ul,li 或者它的名字，类名等。然后你就可以访问分页链接，并向这个链接发送请求

$xpath = new DOMXPath($dom);
$xpath_resultset =  $xpath->query("//div[@class='parentListing']/a");

否则你必须遍历所有 dom 并决定哪个元素可以是分页元素。一些页面添加了下一个和上一个元链接。您可以搜索这些标签：

$xpath = new DOMXPath($dom);
$next_resultset =  $xpath->query("//link[@rel='next']");
$prev_resultset =  $xpath->query("//link[@rel='prev']");

【讨论】：