爬取网站的有效方法

Question

假设有一个分类网站，每个产品的唯一 URL 只是一个数字，例如： example.com/product/12345/ 现在，让我们假设每个数字都给页面中的不同产品一个结果，并说我想扫描所有 URL 并通过从 ex 中提取信息来从页面中获取每个信息：<div id='info'>someinfo</div> 现在我试图用类似的东西来做到这一点

$URL = 1000; 

for($i=1; $i < $URL; $i++){
  $content = file_get_contents("http://example.com/products/$i"); 
  $info = //get the exact info from div and 
  file_put_contents('file.txt', $info); 
}

即使此脚本以某种方式工作，它也未能写入前 5 个以上的结果，然后由于内存限制导致我的系统崩溃。所以，我想知道这是怎么做到的。

我可以使用 DOM 对象来获取 div 的内容，但真正的问题是如何不让脚本冻结页面。

有什么解决办法吗？

Answer 1

我建议为此类爬虫创建 shell 脚本。那你就不用关心超时了：

#!/usr/bin/env php
<?php
$url = 1000;
for ($i = 1; $i < $url; ++$i) {
    $content = getContent("http://example.com/products/$i");
    $info = getInfo($content);
    file_put_contents('file.txt', implode("\n", $info), FILE_APPEND);
}

function getContent($url) {
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    $data = curl_exec($ch);
    $curl_errno = curl_errno($ch);
    $curl_error = curl_error($ch);
    curl_close($ch);
    $curl_errno === 0 or die("cURL Error ($curl_errno): $curl_error\n");
    //sleep(2); // Pause 2 sec to avoid ban :)
    return $data;
}

function getInfo($content) {
    $doc = new DOMDocument();
    $doc->loadHTML($content);
    $xpath = new DOMXPath($doc);
    $result = array();
    // Adopt this block for your needs. This is just example 
    $elements = $xpath->query("//*[@id='info']");
    foreach ($elements as $element) {
        $result[] = $element->nodeValue;
    }
    return $result;
}

Answer 2

我无法对此进行测试，因为我使用的在线代码编辑器不允许我给它$_GET 值，但我想这是诱使 PHP 立即运行代码的最简单方法限制。 （或类似的东西）

$url = intval($_GET['url']);
if ($url >= 1) {
    $content = file_get_contents("http://example.com/products/$url"); 
    $info = //get the exact info from div and 
    file_put_contents('file.txt', $info);
    ob_end_flush();
    $url--;
    header("Location: ./thisfile.php?url=$url");
}