PHPExcel内存问题

Question

我正在尝试遍历一个 3mb 的 Excel 文档，以获取我必须插入到数据库中的所有数据。我正在使用的工作表有 6500 行，但将来可能会有所不同。我注意到即使我使用推荐的内存节省技术，它仍然会出错

$reader = PHPExcel_IOFactory::createReaderForFile($file_path);
$reader->setReadDataOnly(true);

//$sheets = $this->getWorksheetNames($file['tmp_name'], 0);
$reader->setLoadSheetsOnly('spreadsheetname');

$chunkFilter = new IPO_Reader(); 
$reader->setReadFilter($chunkFilter); 

$highestRow    = 10000; //$this->objWorksheet->getHighestRow();
$chunkSize     = 1; 
$highestColumn = "Y";

for ($startRow = 2; $startRow <= $highestRow; $startRow += $chunkSize) 
{ 

    $chunkFilter->setRows($startRow, $chunkSize); 
    $objPHPExcel  = $reader->load($file_path); 

    for($row = $startRow ; $row <= $startRow + $chunkSize; $row++)
    {
        $this->read_row = $objPHPExcel->getActiveSheet()->rangeToArray('A'.$row.':'.$highestColumn.$row, null, true, true, true);

        $this->read_row = end($this->read_row);         

        foreach($this->read_row as $column => $value)
        {
            $db_column_name = $this->_getDbColumnMap($column);
            if(!empty($db_column_name))
            {
                $this->new_data_row[$db_column_name] = $this->_getRowData($value, $column);
            }   

        }

        $this->read_row = null;
        $this->new_data_row['date_uploaded']    = date("Y-m-d H:i:s");
        $this->new_data_row['source_file_name'] = $file_name;
        $ipo_row  = new Model_UploadData_IPO();
        $ipo_row->create($this->new_data_row);
        $this->new_data_row = null;
        unset($ipo_row);

        gc_collect_cycles();

    }
    $objPHPExcel->disconnectWorksheets(); 
    unset($objPHPExcel);    
    gc_collect_cycles();

当我在取消设置 objPHPExcel 之前和之后测试内存使用情况时，没有内存增益，我真的很困惑，因为拆分成块似乎不允许我在每个块之后清除内存，并且使用量逐渐上升，并且限制设置为 250MB，它只允许我添加 ~500 条记录

Answer 1

PHP excel 库is known to have these memory issues，我也有这个问题。对我有用的是这个建议（从上面的链接中尝试一下，有很好的建议如何减少内存使用）：

$objReader = new PHPExcel_Reader_Excel5();
$objReader->setReadDataOnly(true); /* this */

但无论如何，内存需求很大，因为它们为每个单元格分配了大量内存（用于格式化等，即使不需要）。恐怕在他们发布新版本的库之前我们都束手无策。

Answer 2

好的，大家都知道trwtf是Excel，请问能不能把它转成CSV？

我有我自己的 CSV 到 PHP 中的表格函数，这些函数用于导入非常大的文件，CSV 往往更容易处理，而且更不容易出现随机库问题。

如果您确实需要这个一次性流程，或者可以很容易地从 XLS 转换为 CSV，请这样做，因为它会让您的生活更轻松（每次您坚持使用更简单、更标准的替代方案时；））。

因此，对于将翻译糟糕透顶的 XLS 格式的 API，您可以使用以下 o/s 转换器之一 - 我每次都推荐使用 python，但嘿，您可以选择：

http://www.oooninja.com/2008/02/batch-command-line-file-conversion-with.html

http://code.google.com/p/jodconverter/wiki/FAQ

基本上这个想法是一样的，你使用一个外部工具来获得一个可用的文件格式，然后你就从那里开始。

我想我这里没有我的 csvtotable.php 脚本，但它很容易复制，你只需要一些基本工具，比如 csvtoarray 和 arraytoinsertstatements。

GL ;)