PHP PDO 缓冲查询问题答案

【问题标题】：PHP PDO Buffered query problemPHP PDO 缓冲查询问题
【发布时间】：2010-10-09 09:13:19
【问题描述】：

我在使用 PHP 数据对象函数时遇到了一些严重问题。我正在尝试使用缓冲查询遍历一个相当大的结果集（~60k 行，~1gig）以避免获取整个结果集。

无论我做什么，脚本都会挂在 PDO::query() 上 - 似乎查询正在无缓冲运行（为什么结果集大小的更改会“解决”问题？）。这是我重现问题的代码：

<?php
$Database = new PDO(
    'mysql:host=localhost;port=3306;dbname=mydatabase',
    'root',
    '',
    array(
        PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION,
        PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => true
    )
);

$rQuery = $Database->query('SELECT id FROM mytable');

// This is never reached because the result set is too large
echo 'Made it through.';

foreach($rQuery as $aRow) {
    print_r($aRow);
}
?>

如果我用一些合理的数量限制查询，它可以正常工作：

$rQuery = $Database->query('SELECT id FROM mytable LIMIT 10');

我尝试过使用 PDO::MYSQL_ATTR_MAX_BUFFER_SIZE 并使用 PDO::prepare() 和 PDO::execute() （尽管上述查询中没有参数），但均无济于事。任何帮助将不胜感激。

【问题讨论】：

标签： php mysql pdo

【解决方案1】：

或者你可以试试mysql函数：

while ($row = mysql_fetch_row($query)) {
...
}

这肯定会更快，因为 foreach 语句给人的印象是使用 fetchAll() 而不是 fetch() 每行

【讨论】：

mysql_ 函数已弃用，不应使用

【解决方案2】：

如果我理解正确的话，缓冲查询涉及告诉 PHP 您想在开始处理之前等待整个结果集。在 PDO 之前，这是默认设置，如果您想立即处理结果，则必须致电 mysql_unbuffered_query。

我不知道为什么 PDO MySQL 驱动程序页面上没有解释。

【讨论】：

哇，好吧，我是个白痴。不知道是什么给了我相反的印象。
从技术上讲，“缓冲”查询意味着 MySQL 客户端库将整个结果集从 TCP 流中提取出来，然后再将其返回给您。
嗯，我认为手册涵盖了缓冲/非缓冲（mysql 风格）和 fetch/fetchAll（PDO 风格）之间的区别，但再看一遍并没有。如果您想了解更多背景信息，您可能会发现以下内容很有用：netevil.org/blog/2008/06/slides-pdo
修改后的幻灯片链接为：wezfurlong.org/blog/2008/jun/slides-pdo

【解决方案3】：

您可以尝试将其拆分为不足以引起问题的块：

<?php    
$id = 0;
$rQuery = $Database->query('SELECT id FROM mytable ORDER BY id ASC LIMIT 100');

do {
    stuff($rQuery);
    $id += 100;
} while ( $rQuery = $Database->query(
            'SELECT id FROM mytable ORDER BY id ASC LIMIT 100 OFFSET '.$id
          )
        );
?>

...无论如何，你明白了。

【讨论】：

请注意，此方法仅适用于对未更改的表的查询 - 任何插入或删除操作都可能导致您错过记录或读取两次！