在 C# 中列出文件夹内的重复文件：利用 LINQ.AsParallel

Question

我在 C# 代码中编写了以下算法，以递归方式列出文件夹内的文件。

1. 开始遍历目录及其子目录中的文件列表 目录。
2. 将文件名和路径存储在列表中。
3. 如果当前文件与列表中的任何其他文件匹配，则在 将两个文件标记为重复。
4. 从列表中获取所有标记为重复的文件。
5. 按名称分组并返回。

在包含 50,000 个文件和 12,000 个子目录的文件夹上执行非常慢。由于磁盘读取操作基本上是耗时的任务。甚至 LINQ.Parallel() 也无济于事。

实施：

class FileTuple
{
    public string FileName { set; get; }
    public string ContainingFolder { set; get; }
    public bool HasDuplicate { set; get; }
    public override bool Equals(object obj)
    {
        if (this.FileName == (obj as FileTuple).FileName)
            return true;
        return false;
    }
}

1. FileTuple 类跟踪文件名和包含目录， 标志跟踪重复状态。
2. 我已经重写了 equals 方法来只比较文件名，在 fileTuples 的集合。

以下方法查找重复文件并作为列表返回。

    private List<FileTuple> FindDuplicates()
    {
        List<FileTuple> fileTuples = new List<FileTuple>();
        //Read all files from the given path
        List<string> enumeratedFiles = Directory.EnumerateFiles(txtFolderPath.Text, "*.*", SearchOption.AllDirectories).Where(str => str.Contains(".exe") || str.Contains(".zip")).AsParallel().ToList();
        foreach (string filePath in enumeratedFiles)
        {
            var name = Path.GetFileName(filePath);
            var folder = Path.GetDirectoryName(filePath);
            var currentFile = new FileTuple { FileName = name, ContainingFolder = folder, HasDuplicate = false, };

            int foundIndex = fileTuples.IndexOf(currentFile);
            //mark both files as duplicate, if found in list
            //assuming only two duplicate file
            if (foundIndex != -1)
            {
                currentFile.HasDuplicate = true;                    
                fileTuples[foundIndex].HasDuplicate = true;
            }
            //keep of track of the file navigated
            fileTuples.Add(currentFile);
        }

        List<FileTuple> duplicateFiles = fileTuples.Where(fileTuple => fileTuple.HasDuplicate).Select(fileTuple => fileTuple).OrderBy(fileTuple => fileTuple.FileName).AsParallel().ToList();
        return duplicateFiles;
    }

您能否提出一种提高性能的方法。

感谢您的帮助。

Answer 1

能否请您提出一种提高性能的方法。

一个明显的改进是使用Dictionary<FileTuple, FileTuple> 和List<FileTuple>。这样你就不会在每次检查时都有 O(N) IndexOf 操作。请注意，您还需要覆盖 GetHashCode() - 您应该已经收到关于此的警告。

我怀疑它会产生很大的不同 - 我希望这主要是 IO-bound。

此外，我怀疑最后的过滤和排序是否会成为一个重要的瓶颈，所以在最后一步使用AsParallel 不太可能做太多事情。当然，您应该衡量所有这些。

最后，整个方法可以变得相当简单，甚至不需要HasDuplicate 标志或Equals / GetHashCode 的任何覆盖：

private List<FileTuple> FindDuplicates()
{
    return Directory.EnumerateFiles(txtFolderPath.Text, "*.*", 
                                    SearchOption.AllDirectories)
                    .Where(str => str.Contains(".exe") || 
                           str.Contains(".zip")
                    .Select(str => new FileTuple { 
                               FileName = Path.GetFileName(str),
                               ContainingFolder = Path.GetDirectoryName(str))
                            })
                    .GroupBy(tuple => tuple.FileName)
                    .Where(g => g.Count() > 1) // Only keep duplicates
                    .OrderBy(g => g.Key)       // Order by filename
                    .SelectMany(g => g)        // Flatten groups
                    .ToList();                     
}

Answer 2

如果性能很关键，我可以建议使用来自 http://www.voidtools.com/download.php 的第三方库，尝试下载此工具并运行一些查询，它会很快点亮，它通过在整个文件系统上构建文件和目录的索引来工作在第一次运行时，索引在不到一分钟的时间内构建得非常快，并且在内存和磁盘上都需要一些时间，但之后查询会非常快，您可以在他们的 C# 示例中查看如何在代码中使用它。