【问题标题】:PHP Memory Exhaustion error, poor code or just increase memory limit?PHP 内存耗尽错误、糟糕的代码或只是增加内存限制?
【发布时间】:2010-07-16 14:28:18
【问题描述】:

我正在尝试将 738627 条记录从平面文件读入 MySQl。该脚本似乎运行良好,但出现上述内存错误。

文件示例是:

#export_dategenre_idapplication_idis_primary
#primaryKey:genre_idapplication_id
#dbTypes:BIGINTINTEGERINTEGERBOOLEAN
#exportMode:FULL
127667880285760002817317350
127667880285760002818261461
127667880285760002825372301
127667880285760002827785570
127667880285760002827930241
127667880285760002827987861
127667880285760002828089791
127667880285760002828168361
127667880285760002828192041
127667880285760002829144541
127667880285760002829351511

我尝试使用增加允许的内存

ini_set("memory_limit","80M");

它仍然失败。在运行之前我是否会不断增加它?

完整的代码是

  <?php
    ini_set("memory_limit","80M");
    $db = mysql_connect("localhost", "uname", "pword");
    // test connection 
    if (!$db) { 
        echo "Couldn't make a connection!"; 
        exit; 
    } 
    // select database 
    if (!mysql_select_db("dbname",$db))

    {
        echo "Couldn't select database!"; 
        exit; 
    }
    mysql_set_charset('utf8',$db);

    $delimiter = chr(1);
    $eoldelimiter = chr(2) . "\n";
    $fp = fopen('genre_application','r');
    if (!$fp) {echo 'ERROR: Unable to open file.</table></body></html>'; exit;}

 $loop = 0;
while (!feof($fp)) {
  $loop++;
    $line = stream_get_line($fp,128,$eoldelimiter); //use 2048 if very long lines
if ($line[0] === '#') continue;  //Skip lines that start with # 
    $field[$loop] = explode ($delimiter, $line);
    $fp++;
$export_date = $field[$loop][0];
$genre_id = $field[$loop][1];
$application_id = $field[$loop][2];

$query = "REPLACE into genre_apps
(export_date, genre_id, application_id)
VALUES ('$export_date','$genre_id','$application_id')";
print "SQL-Query: ".$query."<br>";
       if(mysql_query($query,$db))
         {
          echo " OK !\n";
         }
        else
             {
              echo "Error<br><br>";
              echo mysql_errno() . ":" . mysql_error() . "</font></center><br>\n";
             }

    }

    fclose($fp);
    ?> 

【问题讨论】:

    标签: php memory-management


    【解决方案1】:

    您的循环无缘无故地填充了变量$field(它在每次循环迭代时写入不同的单元格),因此每行都会占用更多内存。

    你可以替换:

    $field[$loop] = explode ($delimiter, $line);
    $export_date = $field[$loop][0];
    $genre_id = $field[$loop][1];
    $application_id = $field[$loop][2];
    

    与:

    list($export_date, $genre_id, $application_id) = explode($delimiter, $line);
    

    为了提高性能,您可以利用 REPLACE INTO 插入多行的功能,方法是将 N 行分组到一个查询中。

    【讨论】:

      猜你喜欢
      • 2014-06-28
      • 1970-01-01
      • 1970-01-01
      • 2014-10-03
      • 2018-12-07
      • 2015-07-02
      • 2015-10-01
      • 2019-07-10
      相关资源
      最近更新 更多