Doctrine 批量插入使内存使用变得疯狂

Question

我正在尝试使用 Doctrine2 和 Symfony2 夹具包在 MySQL 数据库中插入大量数据（超过 30 000 行）。

我看了the right way to do it。我看到了很多关于内存泄漏和 Doctrine 的问题，但没有让我满意的答案。它通常带有 Doctrine clear() 函数。

所以，我做了各种不同的形状：

while (($data = getData()) {
    $iteration++;

    $obj = new EntityObject();
    $obj->setName('henry');
    // Fill object...

    $manager->persist($obj);

    if ($iteration % 500 == 0) {
        $manager->flush();
        $manager->clear();

        // Also tried some sort of:
        // $manager->clear($obj);   
        // $manager->detach($obj);
        // gc_collect_cycles();
    }
}

在flush() 之后（我很确定），PHP 内存仍然疯狂。实际上，每次刷新实体时，内存都会根据批次大小和实体增加一定量，直到达到致命的Allowed Memory size exhausted错误。对于一个非常非常小的实体，它可以工作，但内存消耗增加太多：几 MB，而应该是 KB。

clear()、detach() 或者调用 GC 似乎根本没有效果。它只会清除一些 KB。

我的方法有缺陷吗？我在某个地方错过了什么吗？是bug吗？

更多信息：

• 没有flush()，内存几乎不会移动；
• 降低批次不会改变结果；
• 数据来自需要清理的 CSV；

编辑（部分解决方案）：

@qooplmao 带来了显着减少内存消耗的解决方案，禁用学说 sql logger：$manager->getConnection()->getConfiguration()->setSQLLogger(null);

但是，它仍然异常高并且还在增加。

Answer 1

按照@Axalix 的建议，我使用this resource 解决了我的问题。

这就是我修改代码的方式：

// IMPORTANT - Disable the Doctrine SQL Logger
$manager->getConnection()->getConfiguration()->setSQLLogger(null);

// SUGGESION - make getData as a generator (using yield) to to save more memory.
while ($data = getData()) {
  $iteration++;

  $obj = new EntityObject();
  $obj->setName('henry');
  // Fill object...

  $manager->persist($obj);

  // IMPORTANT - Temporary store entities (of course, must be defined first outside of the loop)
  $tempObjets[] = $obj;

  if ($iteration % 500 == 0) {
    $manager->flush();

    // IMPORTANT - clean entities
    foreach($tempObjets as $tempObject) {
      $manager->detach($tempObject);
    }

    $tempObjets = null;
    gc_enable();
    gc_collect_cycles();
  }
}

// Do not forget the last flush
$manager->flush();

最后但同样重要的是，当我将此脚本与 Symfony 数据装置一起使用时，在命令中添加 --no-debug 参数也非常重要。那么内存消耗就稳定了。

Answer 2

我发现 Doctrine 在执行期间记录了所有 SQL。我建议用下面的代码禁用它，它确实可以节省内存：

use Doctrine\ORM\EntityManagerInterface;


public function __construct(EntityManagerInterface $entity_manager)
{
    $em_connection = $entity_manager->getConnection();
    $em_connection->getConfiguration()->setSQLLogger(null);
}

Answer 3

我的建议是放弃批量插入的 Doctrine 方法。我真的很喜欢 Doctrine，但我只是讨厌批量插入的这种东西。

MySQL 有一个很棒的东西叫做LOAD DATA。我宁愿使用它，或者即使我必须先清理我的 csv 并在之后执行 LOAD。

如果您需要更改值，我会将 csv 读取到数组 $csvData = array_map("str_getcsv", file($csv));。更改阵列上所需的任何内容并将其保存到行中。之后，使用新的 .csv 文件与 MySQL 一起加载。

为了支持我关于为什么我不会将 Doctrine 用于顶部描述的 here 的主张。