如何优化我的查询以更快地获得结果？

Question

我正在扫描许多网页上的单词，然后将它们存储在 MySQL db 中。

我有三张桌子：

• 单词：（wordid，word）
• 页面：（pageid，page）
• 地图：（wordid，pageid，freq）

freq 字段用于保存页面中单词的出现次数。

然后使用 PHPExcel，我正在创建一个包含单词、页面和频率值的工作表。

sheet的基本方案如下：

|   A   |   B   |   C   | ....
|       |page1  |page2  | ....
|word1  |     10|      7| ....
|word2  |      2|      1| ....
...
...

所以我有以下代码来获取该 Excel 工作表，但所需的工作时间太长，浏览器停止工作，表示服务器响应太晚。所以我的工作没有完成。我也试过添加

ini_set('max_execution_time', 0);
set_time_limit(36000); 

但是添加上面的代码前后没有变化。

所以我认为现在优化查询可能会更快。

function write2excel($config)
{
    include 'PHPExcel_1.8.0_doc/Classes/PHPExcel.php';
    include 'PHPExcel_1.8.0_doc/Classes/PHPExcel/Writer/Excel2007.php';

    $objPHPExcel = new PHPExcel();

     //retrieve page names from DB in a associative array
     $pages = getPages($config);

     //retrieve word names from DB in a associative array
     $words = getWords($config); 

    $r = 1;
    $c = 0;

     //Write each word into the first column in each row.
    foreach ($words as $w)
    {
        $objPHPExcel->setActiveSheetIndex(0)
                ->setCellValueByColumnAndRow(1, $r, $w['word']);
        $r++;
    }
     //Write page names into the first rows of each column
    foreach ($pages as $p)
    {
        $objPHPExcel->setActiveSheetIndex(0)
                ->setCellValueByColumnAndRow($c, 2, $p['page']);
        $c++;
    }

     $c = 1;
    foreach ($words as $w)
    {
        $r = 2;
        foreach ($pages as $p)
        {
            $freq = getFrequency($p['page'], $w['word'], $config);
            $objPHPExcel->setActiveSheetIndex(0)
                    ->setCellValueByColumnAndRow($c, $r, $freq);

             $r++;
        }
        $c++;
    }

    $objPHPExcel->getActiveSheet()->setTitle('mySheet');

    $objWriter = new PHPExcel_Writer_Excel2007($objPHPExcel);

    $objWriter->save('mySheet.xlsx');
 }

function getWords($config)
{
    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT word FROM words');

    $query->execute();

    return $query->FetchAll(PDO::FETCH_ASSOC);
}

function getPages($config)
{
    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT page FROM pages');

    $query->execute();

    return $query->FetchAll(PDO::FETCH_ASSOC);
}

function getFrequency($page, $word, $config)
{
    require_once $config . '.php';

    $conn = new Connection();

    //find frequency value of the given word for the given page
    $query = $conn->db->prepare('SELECT freq FROM map WHERE pageid IN '
            . '(SELECT pageid FROM pages WHERE page = :page) '
            . 'AND wordid IN (SELECT wordid FROM words WHERE word = :word) LIMIT 1');

    $query->bindValue(':page', $page, PDO::PARAM_STR);
    $query->bindValue(':word', $word, PDO::PARAM_STR);

    $query->execute();

    $row = $query->FetchAll(PDO::FETCH_ASSOC);
    if ($query->rowCount() > 0)
    {
        $freq = $row[0]['freq'];
    }
    else
    {
        $freq = 0;
    }
    return $freq;
}

words表中有10000多行，pages表有1000多行

编辑

如果我想为所有页面运行 100×100 行的脚本，该怎么做？我的意思是前 100 个单词将被提取，然后是 101-200、201-300，......直到最后。

Answer 1

您应该检查确切的问题出在哪里，但您已经可以改进一些事情：

• 只使用一个连接并传递它，这样您就不会在每次调用其中一个函数时打开一个新的数据库连接；
• 准备语句一次，然后执行多次，而不是每次调用该函数时都在函数中进行准备。

除此之外，在循环中（或在本例中为嵌套循环）执行查询总是会成为一个问题，因此尝试减少查询数量并使用 EXPLAIN 优化您的索引可能会给最大的收获。

Answer 2

我个人注意到一次获取所有行非常昂贵。

使用fetch() 逐一获取您的记录会快得多，请尝试应用这些更改：

function getWords($config)
{
    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT word FROM words');

    $query->execute();

    $rows = array();
    while($row =$query->fetch(PDO::FETCH_ASSOC) ){
        $rows[]= $row;
    }

    return $rows;
}

function getPages($config)
{
    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT page FROM pages');

    $rows = array();
    while($row =$query->fetch(PDO::FETCH_ASSOC) ){
        $rows[]= $row;
    }

    return $rows;
}

function getFrequency($page, $word, $config)
{
    require_once $config . '.php';

    $conn = new Connection();

    //find frequency value of the given word for the given page
    $query = $conn->db->prepare('SELECT freq FROM map WHERE pageid IN '
            . '(SELECT pageid FROM pages WHERE page = :page) '
            . 'AND wordid IN (SELECT wordid FROM words WHERE word = :word) LIMIT 1');

    $query->bindValue(':page', $page, PDO::PARAM_STR);
    $query->bindValue(':word', $word, PDO::PARAM_STR);

    $query->execute();

    $row = $query->fetch(PDO::FETCH_ASSOC);
    if ($query->rowCount() > 0)
    {
        $freq = $row['freq'];
    }
    else
    {
        $freq = 0;
    }
    return $freq;
}

Answer 3

我已将我的程序上传到我认为它优于我的笔记本电脑的网络服务器。但我没有解决办法。所以我决定使用limit 和offset 来划分结果集。

我使用地址栏输入限制和偏移值。我现在正在拿我的床单。然后我要把它们合并成一张纸。

感谢您的建议。我已将它们应用于我的代码。我没有衡量他们是否加快了我的工作，但似乎这是有道理的。

反正我的问题已经解决了。

我已将函数 getWords() 更改如下：

function getWords($config, $limit, $offset)
{
    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT word FROM words LIMIT ' . $limit . ' OFFSET ' . $offset );

    $query->execute();

    $rows = array();
    while($row =$query->fetch(PDO::FETCH_ASSOC) ){
        $rows[]= $row;
    }

    return $rows;
}

我知道查询很容易受到攻击，容易被注入。谁在乎？我已经在本地计算机上运行它。