测试 100+ 百万个域的最快方法

Question

我的 MySQL 数据库中有 100+ 百万个域，我想检查每个域是否处于活动状态。我使用 PHP CURL 完成了它，我执行了脚本，如果响应返回，我将域标记为活动，如果它没有返回响应，我将其标记为非活动。

代码如下：

function isDomainAvailable(){
    $domain = "http://www.".$this->input->post('url');
    $id = $this->input->post('id');

    $this->load->model('urls');
    if(!filter_var($domain, FILTER_VALIDATE_URL)){
           $this->urls->setActive($id,0);
           errorMessage('Invalid url');
    }

    $curlInit = curl_init($domain);
    curl_setopt($curlInit,CURLOPT_CONNECTTIMEOUT,10);
    curl_setopt($curlInit,CURLOPT_HEADER,true);
    curl_setopt($curlInit,CURLOPT_NOBODY,true);
    curl_setopt($curlInit,CURLOPT_RETURNTRANSFER,true);

    $response = curl_exec($curlInit);
    curl_close($curlInit);
    if ($response){
        $this->urls->setActive($id,1);
        successMessage('url is active');
    }
    $this->urls->setActive($id,0);
    errorMessage('url is not active');
}

我正在使用同步 AJAX 调用运行此脚本，以便它不断更新 UI 以确保脚本正在运行以及它当前所在的记录：

这里是 JQuery 代码：

$(document).ready(function(){
$("#startCheck").click(function(){
    pages = 2313744;
    for(i=1;i<=pages;i++){
        url = "<?php echo base_url() ?>main/getDomains/"+i+"/1";

        $.ajax({
            type: "POST",
            url:url,
            data: $("#form").serialize(),
            dataType: 'json',
            timeout:30000,
            async: false,
            success: function (data) {
                if(data.data){
                    $(".recordstable").find("tr:gt(0)").remove();
                    $.each(data.data, function(i,v) {
                        row = '<tr>';
                        row += '<td>'+v.id+'</td>';
                        row += '<td>'+v.url+'</td>';
                        row += '<td class="active'+v.id+'">';
                        row += '<img src="<?php echo base_url(); ?>images/loading.gif" width="16" height="16" alt="Loading"></td>';
                        row += '</tr>';
                        $('.recordstable tr:last').after(row);


                                $.ajax({
                                    type: "POST",
                                    url:'<?php echo base_url() ?>main/isDomainAvailable',
                                    data: {url:v.url,id:v.id},
                                    dataType: 'json',
                                    timeout:10000,
                                    async: false,
                                    success: function (data) {
                                        if(data.success){
                                            $('.active'+v.id).html('<span class="label label-success">Yes</span>');
                                        }else{
                                            $('.active'+v.id).html('<span class="label label-danger">No</span>');
                                        }
                                    },
                                    error:function(data){
                                        $('.active'+v.id).html('<span class="label label-warning">Failed</span>');
                                        //alert("something went wrong, please try again.");
                                        $(".loader").hide();
                                    }
                                });





                    });
                }
            },
            error:function(data){
                alert("something went wrong, please try again.");
                $(".loader").hide();
            }
        });
        //break;
    }
    return false;
});

});

首先脚本在 url 上运行一个 for 循环，url 上的每个请求返回 50 个域，当数据返回另一个 AJAX 调用时，向我在上面发布的脚本发送请求，该脚本测试域并返回成功或失败的响应，然后脚本更新 UI 以显示它已完成检查，这是测试域的网页的屏幕截图

这个脚本的问题是运行速度非常慢，因为它在过去 10 小时内只测试了 4000 个域 我需要一种最快的方法来测试域 不需要 PHP。 如果有任何适用于 Python 的解决方案，请分享

Answer 1

为什么选择 JavaScript 和 AJAX？全部用 PHP 完成。

用if (!$response)代替

if (curl_errno($curlInit)){
  errorMessage(curl_error($curlInit));
}