Powershell：Get-ChildItem 处理批量文件的性能

Question

场景是在远程服务器中，共享一个文件夹供 ppl 访问日志文件。 日志文件在老化前会保留大约 30 天，每天会生成大约 1000 个日志文件。 为了问题分析，我需要根据文件时间戳将日志文件复制到自己的机器上。

我之前的策略是：

1. 使用dir /OD命令获取文件列表，到我的本地PC，到一个文件中
2. 打开文件，找到时间戳，获取我需要复制的文件列表
3. 使用 copy 命令复制实际的日志文件

它可以工作，但需要一些手动工作，即第2步我使用notepad++和正则表达式来过滤时间戳

我尝试使用 powershell 作为：

Get-ChildItem -Path $remotedir | where-object {$_.lastwritetime -gt $starttime -and $_lastwritetime -lt $endtime } |foreach {copy-item $_.fullname -destination .\}

但是使用这种方法需要几个小时和几个小时并且没有文件被复制，而与 dir 解决方案相比，生成文件列表大约需要 7-8 分钟，而不是复制本身需要一些时间而不是几个小时

我猜大部分时间都花在了过滤文件上。我不太清楚为什么 get-childitem 的性能这么差。

如果有什么我可以改变的，你能告诉我吗？ 谢谢

Answer 1

对于有很多文件的目录，Get-ChildItem 太慢了。看起来大部分时间都花在枚举目录上，然后通过 'where' 过滤，然后复制每个文件。

直接使用 .net，尤其是 [io.directoryinfo] 与 GetFileSystemInfos() 方法。

例如

$remotedir   = [io.directoryinfo]'\\server\share'
$destination = '.\'
$filemask    = '*.*'
$starttime   = [datetime]'jan-21-2021 1:23pm'
$endtime     = [datetime]'jan-21-2021 4:56pm'

$remotedir.GetFileSystemInfos($filemask, [System.IO.SearchOption]::TopDirectoryOnly) | % {
    if ($_.lastwritetime -gt $starttime -and $_.lastwritetime -lt $endtime){
        Copy-Item -Path $_.fullname -Destination $destination
    }
}