PowerShell - 组对象性能不佳

Question

我编写了一个脚本来帮助我识别重复文件。出于某种原因，如果我拆分这些命令并将其导出/导入到 CSV，它的运行速度要比将所有内容都留在内存中要快得多。这是我的原始代码，速度太慢了：

Get-ChildItem M:\ -recurse | where-object {$_.length -gt 524288000} | select-object Directory, Name | Group-Object directory | ?{$_.count -gt 1} | %{$_.Group} | export-csv -notypeinformation M:\Misc\Scripts\Duplicates.csv

如果我把它分成 2 个命令并在中间导出到 CSV，它的运行速度大约快 100 倍。我希望有人可以阐明我做错了什么。

Get-ChildItem M:\ -recurse | where-object {$_.length -gt 524288000} | select-object Directory, Name | Export-Csv -notypeinformation M:\Misc\Scripts\DuplicateMovies\4.csv

import-csv M:\Misc\Scripts\Duplicates\4.csv | Group-Object directory | ?{$_.count -gt 1} | %{$_.Group} | export-csv -notypeinformation M:\Misc\Scripts\Duplicates\Duplicates.csv

remove-item M:\Misc\Scripts\Duplicates\4.csv

感谢任何建议，

~TJ

Answer 1

慢的不是Group-Object，这是您的分组条件，您要求它按 .Directory property 代表其父文件夹 DirectoryInfo 实例对 FileInfo 对象进行分组。所以，您要求 cmdlet 按非常复杂的对象对对象进行分组作为分组条件, 而您可以使用 .DirectoryName property 作为分组条件，它代表父目录的 FullName 属性（一个简单的字符串），或者您可以使用 .Directory.Name property 代表父文件夹的 Name （也是一个简单的字符串） .

总而言之，在这种情况下，导出到 CSV 的速度更快的主要原因是，当Export-Csv 从管道接收您的对象时，它会在每个对象的属性值上调用ToString() 方法，因此Directory 实例被转换到它的字符串表示形式（调用ToString() to this instance ends up being the folder's FullName）。

至于您的代码，如果您想保持尽可能高效而又不使其过于复杂：

Get-ChildItem M:Movies -Recurse -File | & {
    process {
        if($_.Length -gt 500mb) { $_ }
    }
} | Group-Object DirectoryName | & {
    process {
        if($_.Count -gt 2) {
            foreach($object in $_.Group) {
                [pscustomobject]@{
                    Directory = $_.Name # => This is the Parent Directory FullName
                    Name      = $object.Name
                }
            }
        }
    }
} | Export-Csv M:MiscScriptsDuplicateMovies.csv -NoTypeInformation

如果您想按父 Name 而不是 FullName 对它们进行分组，您可以使用：

Group-Object { $_.Directory.Name }