在 foreach 循环中使用 array_combine 时 PHP 内存耗尽

Question

尝试在foreach 循环中使用array_combine 时遇到问题。最终会报错：

PHP Fatal error:  Allowed memory size of 268435456 bytes exhausted (tried to allocate 85 bytes) in

这是我的代码：

$data = array();
$csvData = $this->getData($file);
if ($columnNames) {
    $columns = array_shift($csvData);
    foreach ($csvData as $keyIndex => $rowData) {
        $data[$keyIndex] = array_combine($columns, array_values($rowData));
    }
}

return $data;

我使用的源文件 CSV 大约有 ~1,000,000 行。这一行

$csvData = $this->getData($file)

我使用 while 循环来读取 CSV 并将其分配到一个数组中，它的工作没有任何问题。麻烦来自array_combine 和foreach 循环。

您是否有任何想法来解决这个问题或只是有更好的解决方案？

更新

这是读取 CSV 文件的代码（使用 while 循环）

$data = array();
if (!file_exists($file)) {
    throw new Exception('File "' . $file . '" do not exists');
}

$fh = fopen($file, 'r');
while ($rowData = fgetcsv($fh, $this->_lineLength, $this->_delimiter, $this->_enclosure)) {
    $data[] = $rowData;
}
fclose($fh);
return $data;

更新 2

如果您正在处理

Answer 1

实际上，您在内存中保留（或试图保留）整个数据集的两个不同副本。首先，您使用 getData() 将整个 CSV 日期加载到内存中，然后通过循环访问内存中的数据并创建一个新数组，将数据复制到 $data 数组中。

您应该在加载 CSV 数据时使用基于流的读取，以便在内存中只保留一个数据集。如果您使用的是 PHP 5.5+（顺便说一句，您肯定应该这样做），这很简单，只需将您的 getData 方法更改为如下所示：

protected function getData($file) {
    if (!file_exists($file)) {
        throw new Exception('File "' . $file . '" do not exists');
    }

    $fh = fopen($file, 'r');
    while ($rowData = fgetcsv($fh, $this->_lineLength, $this->_delimiter, $this->_enclosure)) {
        yield $rowData;
    }
    fclose($fh);
}

这利用了所谓的generator，这是一个 PHP >= 5.5 的特性。您的代码的其余部分应该继续工作，因为 getData 的内部工作应该对调用代码是透明的（只有一半的事实）。

更新来解释现在如何提取列标题。

$data = array();
$csvData = $this->getData($file);
if ($columnNames) { // don't know what this one does exactly
    $columns = null;
    foreach ($csvData as $keyIndex => $rowData) {
        if ($keyIndex === 0) {
            $columns = $rowData;
        } else {
            $data[$keyIndex/* -1 if you need 0-index */] = array_combine(
                $columns, 
                array_values($rowData)
            );
        }
    }
}

return $data;