PHP爬虫进入无限循环

Question

这是我正在尝试构建的整个爬虫代码。此代码是单域爬虫。但它有一个大问题，当我检查数据库时，它一次又一次地保存一些链接，这会创建一个无限循环。我想在不使用我的数据库的情况下解决这个问题，因为在我的数据库中检查每个链接是否存在会使这个爬虫变慢。我怎样才能做到这一点？ + 如果您有任何建议可以让它更快？

<?php

include_once('ganon.php');

ini_set('display_errors', '1');
function gethost($link)
{
    $link = trim($link, '/');
    if (!preg_match('#^http(s)?://#', $link)) 
    {
        $link = 'http://' . $link;
    }
    $urlParts = parse_url($link);
    $domain = preg_replace('/^www\./', '', $urlParts['host']);
    return $domain;
}

function store($raw, $link)
{
    $html = str_get_dom($raw);
    $title = $html('title', 0)->getPlainText();

    $con = @mysqli_connect('somehost', 'someuser', 'somepassword', 'somedatabase');
    if (!$con) 
    {
        echo "Error: " . mysqli_connect_error();
        exit();
    }

    $query = "INSERT INTO `somedatabase`.`sometable` (`title`, `url`) VALUES ('$title', '$link');";
    mysqli_query($con, $query);

    mysqli_close($con);
    echo $title."<br>";
}

function crawl_save_crawl($target)
{
    $curl = curl_init($target);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);
    $result = curl_exec($curl);
    if(curl_errno($curl)) 
    {
        echo 'Curl error: ' . curl_error($curl);
    }
    curl_close($curl); 


    $dom = str_get_dom($result);
    foreach($dom('a') as $element)
    {
        $href = $element->href;
        if (0 !== strpos($href, 'http')) 
        {
            $path = '/' . ltrim($href, '/');
            if (extension_loaded('http')) 
            {
                $href = http_build_url("http://www.".gethost($target), array('path' => $path));
            }   
            else 
            {
                $parts = parse_url("http://www.".gethost($target));
                $href = $parts['scheme'] . '://';
                if (isset($parts['user']) && isset($parts['pass'])) 
                {
                    $href .= $parts['user'] . ':' . $parts['pass'] . '@';
                }   
                $href .= $parts['host'];
                if (isset($parts['port'])) 
                {
                    $href .= ':' . $parts['port'];
                }
                $href .= dirname($parts['path'], 1).$path;
            }   
        }
        if (gethost($target) == gethost($href))
        {
            crawl_save_crawl($href);
        }
    }
    store($result, $target);        
}

$url=$_GET['u'];
crawl_save_crawl($url); 

?>

Answer 1

在您的crawl_save_crawl() 函数中，您可以存储您已经访问过的链接，从而停止返回它们的代码。使用静态变量并不理想，但在如此有限的一段代码中，它可以达到预期的目的（在调用中保持它的值）。

这不会阻止它搜索其他页面搜索过的东西，但会阻止它自身循环。

function crawl_save_crawl($target)
{
    static $alreadyDone = null;
    if ( $alreadyDone == null ) {
        $alreadyDone = [$target];
    }

在第一个循环中，这将添加当前引用，因为这会导致它丢失。

那么在你调用同一个路由之前，你可以测试一下它是否已经被检查...

$visit = trim(str_replace(["http://","https://"], "", $href), '/');
if (in_array($visit, $alreadyDone) === false &&
    gethost($target) == gethost($href))
{
    $alreadyDone[] = $visit;
    crawl_save_crawl($href);
}

这可能看起来仍然像是在访问同一个页面，但您的逻辑有时会创建一个带有“www.”的 href。一开始，这可能与没有它不同。所以在爬取stackoverflow的时候，这意味着有stackoverflow.com和www.stackoverflow.com。