如何解析使用无限滚动技术显示内容的网站？ [关闭]

Question

如何抓取那里的所有数据？我正在编写一个 php 脚本来从具有动态加载程序的网站上抓取数据。我正在使用 HTML Dom 解析器和 scoopy 来抓取以下网站 https://www.lyoness.com/au/search/partner/ 。 我是初学者，我无法确定如何解析无限滚动。

<input id="btnNextPage" type="button" class="btn btn-primary" style="width: 100%" value="Next page">

Answer 1

这是使用ajax拉取内容的链接，

https://www.lyoness.com/au/search/loadpage?cp=1&area=2&st=&rz=&rzc=&f=&ft=Basic&c=AU&r=12&la=en-AU&s=Default&isPreviousPageClick=false&_=

cp 变量是您正在加载的页码。这意味着如果仍有内容返回，您可以遍历所有数字。

您无法使用 php 访问此链接，因为即使通过浏览器访问此链接也是不可能的，我尝试使用 ajax 并且它可以工作，这是您可以在页面控制台中键入并更改它将打印的 cp 的 ajax 代码ajax 内容，你可以添加一个有一些延迟的循环

$.ajax({
url:'https://www.lyoness.com/au/search/loadpage?cp=5&area=2&st=&rz=&rzc=&f=&ft=Basic&c=AU&r=12&la=en-AU&s=Default&isPreviousPageClick=false&_=',
success:function(data){
  console.log(data);
}
})

您可以在使用 jquery（这比使用 php 库很容易）抓取返回的数据后，通过 post 或 get 请求将返回的数据发布到您的服务器，并使用某种 API 保存到数据库或禁用跨域安全性浏览器中的选项。

编辑：

这是一个使用 CURL 检索第一页的 php 代码

    if (!function_exists('curl_init')){
            die('Sorry cURL is not installed!');
    }
    $url = 'https://www.lyoness.com/au/search/loadpage?cp=1&ft=Basic&c=AU&r=12&la=en-AU&s=Default';

    $ch = curl_init();
    curl_setopt($ch,CURLOPT_ENCODING , "gzip");
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla-Djokage/1.0");
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_HTTPHEADER, array(
        'X-Requested-With: XMLHttpRequest'
    ));
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_TIMEOUT, 10);
    $output = curl_exec($ch);
    echo $output;
    //echo 'Curl error: ' . curl_error($ch);

    curl_close($ch);

您需要遍历 url 中的 cp 变量才能解析所有页面，还需要抓取 $output html 以获取所有变量并将它们保存到数据库中，我已经尝试了代码并且它可以工作美好的。我希望你能接受这个解决方案