从文件中获取所有行，并将唯一行放入新文件中

Question

使用 PHP 我已经尝试了一整天来完成这项工作。我失败了。我想：

1. 打开一个目录并读取那里的所有文件。
2. 逐行读取每个文件的内容（每行是一个没有空格的名称（单列））。
3. 将每一行放入一个新文件中（逐行换行）。
4. 删除重复行。
5. 保存新文件。

对大师来说很容易，对我来说很麻木。

注意：每个文件可能有 500 行长，每行 20 个字符，但只有大约 20 个文件。

提前感谢您的帮助。

再次感谢。 根据下面的帖子，我尝试了

    $topdir = '/home/mycal25/public_html/processed/';


$files = glob($topdir."*.txt"); //matches all text files

$lines = array();
foreach($files as $file)
{
 $lines = array_merge($lines, file($file, FILE_SKIP_EMPTY_LINES | FILE_IGNORE_NEW_LINES));
}
$lines = array_unique($lines);

file_put_contents($topdir."all/all.txt", implode("\n", $lines));

但这并没有奏效... 我尝试了其他几种变体均无济于事..

Answer 1

类似：

$lines = array()
foreach ($files as $file) {
    $lines = array_merge($lines, file($file));
}

$lines = array_unique($lines);

$fp = fopen('dest.txt', 'w');
foreach ($lines as $line) {
    fwrite($fp, $line);
}
fclose($fp);

或者，您可以采用不同的方式执行此操作，每次加载新文件时检查唯一条目。这将节省 RAM，但可能会使用更多 CPU。

根据您对 opendir 的评论，您可以执行以下操作：

$files = glob('/home/mycal25/public_html/processed/*');

或坚持opendir()

$topdir = '/home/mycal25/public_html/processed';
$dh = opendir($topdir);
while (($file = readdir($dh)) !== false) {
    $lines = array_merge($lines, file($topdir . '/' . $file));
}

我在某些地方跳过了一些重要的错误检查，只是为了使代码更短且更易于阅读。但是，如果您想确定，请始终检查 opendir/glob/fopen 等的返回值

Answer 2

需要指出的是，如果新文件的排序顺序无关紧要，在基于 unix 的系统上使用 sort -u 可能会帮助您非常轻松。

如果您在基于 unix 的主机上运行 PHP，您很可能使用 sort 到 system()。

Answer 3

8 小时并非白费；这样想，你肯定会讨厌编程！我看到了一个很好的解决方案，可能有一些错误，但所有的思考和大招都在那里。您可能只需要对调试方法进行一些改进。

这就是我要做的：代替内联函数调用，将它们写成自己的语句并将它们的返回值保存到有意义的变量中。看看这个：

$topDir = '/home/mycal25/public_html/processed/';

/* Grab names of all needed text files */
$filePaths = glob($topdir . '*.txt');

$names = array();

foreach($filePaths as $filePath) {
    $fileLines = file($file, FILE_SKIP_EMPTY_LINES | FILE_IGNORE_NEW_LINES);
    $names = array_merge($names, $fileLines);
}

$uniqueNames = array_unique($names);

$nameList = implode("\n", $uniqueNames);

file_put_contents($topDir . 'all/all.txt', $nameList);

那将是我的个人风格。您现在可以做的是 var_dump() 每个变量并运行您的脚本。通过这样做，您最终将通过输出找出哪个变量不包含您希望它包含的内容。

此外，请确保已启用所有错误报告。无耻插队：http://www.needtodevelop.com/error-reporting-in-php

Answer 4

<?php

$lines = array();

foreach($files as $file)
{
    $lines = array_merge($lines, array_fill_keys(file($file, FILE_SKIP_EMPTY_LINES), 1));
}

file_put_contents('file.txt', implode(array_keys($lines)));

?>