以最有效的方式编写大文件

Question

我正在尝试用 php 编写一个 50+ MB 范围内的文件。

这有点像预期的那样工作，虽然速度很慢。

运行起来很简单：

$fileAccess = fopen($filename, 'w');
fwrite($fileAccess, $line);
*a lot of lines and loops...*
fclose($fileAccess);

我的问题是。我可以做些什么来优化它。 我向文件发送了大约 350000 个 fwrite 大约 100-10000 个字符的语句，我想知道是否可以做些什么来提高文件生成的效率。 是做所有这些小写更好，还是我应该在写之前在内部“缓存”一些内容，还是有第三种我不知道的选项。

我必须降低内存消耗，否则我会遇到服务器限制。

谢谢

Answer 1

这可能对你有帮助

// Copy big file from somewhere else
$src_filepath = 'http://example.com/all_the_things.txt'; $src = fopen($src_filepath, 'r');
$tmp_filepath = '...'; $tmp = fopen($tmp_filepath, 'w');
$buffer_size = 1024;

while (!feof($src)) {                       
   $buffer = fread($src, $buffer_size);     // Read big file/data source/etc. in small chunks
   fwrite($tmp, $buffer);                   // Write in small chunks
}

fclose($tmp_filepath);                      // Clean up
fclose($src_filepath);

rename($tmp_filepath, '/final/path/to/file.txt');

Answer 2

而不是使用许多文件写入的开销，您可以只使用一个，例如，我使用一个数组，我在末尾用新行内爆来写入；

<?php

$filecontent = array();
$handle = fopen($filename, "w");

while ($x == $y)
{
    if ($condition_met)
    {
        $filecontent[] = "Some message to say this worked";
    }
    if ($condition_met)
    {
        $filecontent[] = "Some message to say this failed";
    }
}

$filecontent = implode("\r\n", $filecontent);
fwrite($handle, $filecontent);
fclose($file);

这意味着您已经为句柄打开了资源，以及要添加的值数组，只需 implode 和 write 一次通常对我有用

编辑

如果你的内存过度使用，仍然使用数组，你可以在最后循环，以避免一直写写，但你仍然会看到同样的性能损失，我试图减少这通过添加一个计数器来减少写入频率；

$filecontent = array();
$handle = fopen($filename, "w");

while ($x == $y)
{
    if ($condition_met)
    {
        $filecontent[] = "Some message to say this worked";
    }
}
$counts = 0;
$addtofile = "";
foreach ($filecontent as $addline)
{
    if ($counts < 2500)
    {
        $addtofile .= $addline . "\r\n";
        $counts++;
    }
    else
    {
        fwrite($handle, $addtofile);
        $addtofile = "";
        $counts = 0;
    }
}
fclose($file);

Answer 3

使用file_put_contents。写入文件是这里最慢的部分，所以尽量少用：

$content = '';
$threshold = 1000;
$handler = fopen('my_file.txt', 'a');

foreach ($contents as $i => $data) {
    $content .= $data;

    // Write in batches
    if ($i > $threshold) {
        fwrite($handler, $content);
        $content = ''; // Reset content
    }
}

// Write what's left in $content
if (!empty($content)) {
    fwrite($handler, $content);
}

fclose($handler);