PHP循环遍历巨大的文本文件非常慢，你能改进吗？

Question

文本文件（实际上是 .dat）中包含的数据如下所示：

LIN*1234*UP*abcde*33*0*EA
LIN*5678*UP*fghij*33*0*EA
LIN*9101*UP*klmno*33*23*EA

文件中实际上有超过 500,000 行这样的行。

这是我现在使用的：

//retrieve file once        
$file = file_get_contents('/data.dat'); 
$file = explode('LIN', $file);

    ...some code

foreach ($list as $item) { //an array containing 10 items
     foreach($file as $line) { //checking if these items are on huge list
         $info = explode('*', $line);
         if ($line[3] == $item[0]) {
             ...do stuff...                     
             break; //stop checking if found
          }
      }         
 }

问题在于它运行得太慢 - 每次迭代大约需要 1.5 秒。我单独确认影响速度的不是“……做事……”。相反，它是在寻找正确的项目。

如何加快速度？谢谢。

Answer 1

如果每个项目都在自己的行中，而不是将整个项目加载到内存中，最好使用fgets() 代替：

$f = fopen('text.txt', 'rt');

while (!feof($f)) {
    $line = rtrim(fgets($f), "\r\n");
    $info = explode('*', $line);
    // etc.
}

fclose($f);

PHP 文件流是缓冲的 (~8kB)，所以它在性能方面应该不错。

另一段逻辑可以这样重写（而不是多次迭代文件）：

if (in_array($info[3], $items)) // look up $info[3] inside the array of 10 things

或者，如果 $items 被适当索引：

if (isset($items[$info[3]])) { ... }

Answer 2

file_get_contents 将整个文件作为数组加载到内存中，然后您的代码对其进行操作。从the official PHP fgets documentation 改编这个示例代码应该会更好：

$handle = @fopen("test.txt", "r");
if ($handle) {
    while (($buffer = fgets($handle, 4096)) !== false) {
        $file_data = explode('LIN', $buffer);
        foreach($file_data as $line) {
            $info = explode('*', $line);
            $info = array_filter($info);
            if (!empty($info)) {
                echo '<pre>';
                print_r($info);
                echo '</pre>';
            }
        }         
    }
    if (!feof($handle)) {
        echo "Error: unexpected fgets() fail\n";
    }
    fclose($handle);
}

上述代码使用你的数据的输出是：

Array
(
    [1] => 1234
    [2] => UP
    [3] => abcde
    [4] => 33
    [6] => EA

)
Array
(
    [1] => 5678
    [2] => UP
    [3] => fghij
    [4] => 33
    [6] => EA

)
Array
(
    [1] => 9101
    [2] => UP
    [3] => klmno
    [4] => 33
    [5] => 23
    [6] => EA
)

但仍然不清楚您缺少的代码，因为该行声明：

foreach ($list as $item) { //an array containing 10 items

这似乎是另一个真正的瓶颈。

Answer 3

当您执行file_get_contents 时，它会将内容加载到内存中，因此您只能想象该过程可能会占用多少资源。更不用说你有一个嵌套循环，那就是(O)n^2

如果可能，您可以拆分文件或使用fopen、fgets 和fclose 逐行读取它们。

如果我是你，如果我真的需要速度，我会使用另一种语言，例如 C++ 或 Go。