为数千个项目优化 foreach答案

【问题标题】：Optimization of foreach for thousands items为数千个项目优化 foreach
【发布时间】：2014-08-08 16:33:38
【问题描述】：

我正在对一组 25,000 个结果运行以下代码。我需要优化它，因为我达到了内存限制。

$oldproducts = Oldproduct::model()->findAll(); /*(here i have 25,000 results)*/

foreach($oldproducts as $oldproduct) :
    $criteria = new CDbCriteria;
    $criteria->compare('`someid`', $oldproduct->someid);
    $finds = Newproduct::model()->findAll($criteria);

    if (empty($finds)) {
        $new = new Newproduct;
        $new->someid = $oldproduct->someid;
        $new->save();
    } else {
        foreach($finds as $find) :
            if ($find->price != $oldproduct->price) {
                $find->attributes=array('price' => $oldproduct->price);
                $find->save();
            }
        endforeach;
    }
endforeach;

代码通过 someid 比较两个表的行。如果发现巧合，则更新 price 列，否则创建新记录。

【问题讨论】：

您在哪一行遇到错误？为什么不能只使用 SQL 查询来做到这一点？这将需要一些时间，但一次处理 100 个批次，而不是获取所有 25K。（外循环为for ($offset = 0; $offset < 25000; $offset += 100)）。
这个问题似乎是题外话，因为它属于Code Review，只要代码有效并且问题符合他们的指导方针。
您正在使用 ActiveRecords 处理大量数据，这绝对是不可以的。在这种情况下尽量避免使用 ActiveRecord。
我不能使用SQL，因为这个代码必须通过按钮点击检查Oldproduct表中是否有新记录。会经常用到

标签： php memory optimization yii foreach

【解决方案1】：

您可以以约 5000 个块的形式处理行，而不是一次性获取所有行！

$cnt = 5000;
$offset = 0;

do {
    $oldproducts = Oldproduct::model()->limit($cnt)->offset($offset)->findAll(); /*(here i have 25,000 results)*/

    foreach($oldproducts as $oldproduct) {
        // your code
    }

    $offset += $cnt;
} while($oldproducts >= $cnt);

【讨论】：

感谢您的回答，但有一个错误-“没有名为“limit”的方法或闭包。”

【解决方案2】：

使用CDataProviderIterator 其中：

... 允许对大型数据集进行迭代，而无需将整个数据集保存在内存中。

您首先必须将CDataProvider 实例传递给它：

$dataProvider = new CActiveDataProvider("Oldproduct");
$iterator = new CDataProviderIterator($dataProvider);
foreach($iterator as $item) {
    // do stuff
}

【讨论】：