PowerShell 脚本效率建议

Question

我有一个电话 .csv，其中包含 2020 年 1 月和 2 月的某些日子的编译数据，每一行都有每个状态花费的日期和时间，因为有人在一天内使用不同的状态，文件每个状态都有一行，我的脚本应该遍历文件，找到最短日期，然后开始在新文件上保存同一天的所有数据，所以我将以 01-01-2020、02-01-2020 和 02-01-2020 的一个文件结束以此类推，但它运行了 15 个小时，仍然是 1/22。

我用于日期的列称为“DateFull”，这是脚本

write-host "opening file" 
$AT= import-csv “C:\Users\xxxxxx\Desktop\SignOnOff_20200101_20200204.csv” 
write-host "parsing and sorting file" 
$go= $AT| ForEach-Object {
        $_.DateFull= (Get-Date $_.DateFull).ToString("M/d/yyyy")
        $_
        }
    
Write-Host "prep day"
$min = $AT | Measure-Object -Property Datefull  -Minimum  

Write-Host $min
$dateString =  [datetime] $min.Minimum
Write-host $datestring

write-host "Setup dates"
$start = $DateString - $today
$start = $start.Days

For ($i=$start; $i -lt 0; $i++)  {
$date = get-date
$loaddate = $date.AddDays($i) 
$DateStr = $loadDate.ToString("M/d/yyyy")
$now = Get-Date -Format HH:mm:ss
write-host $datestr " " $now

#Install-Module ImportExcel #optional import if you dont have the module already
$Check = $at | where {$_.'DateFull' -eq $datestr} 
write-host $check.count
if ($check.count -eq 0 ){}
else {$AT | where {$_.'DateFull' -eq $datestr} | Export-Csv "C:\Users\xxxxx\Desktop\signonoff\SignOnOff_$(get-date (get-date).addDays($i) -f yyyyMMdd).csv" -NoTypeInformation}
}

$at = '' 

Answer 1

第一个循环没有多大意义。它遍历 CSV 内容并将每一行的日期转换为不同的格式。之后，$go 就不再使用了。

$go= $AT| ForEach-Object {
        $_.DateFull= (Get-Date $_.DateFull).ToString("M/d/yyyy")
        $_
        }

稍后，尝试从未初始化的变量中计算值。 $today 从未定义过。

$start = $DateString - $today

不过，您似乎想以天为单位计算最老记录的年龄。

然后有一个从负天数到零的循环。在每次迭代期间，都会搜索整个 CSV：

$Check = $at | where {$_.'DateFull' -eq $datestr} 

如果有 30 天和 15 000 行，则有 30*15000 = 450 000 次迭代。这具有 O(n^2) 的复杂性，这意味着即使在相对较少的天数和行数内，运行时间也会变得非常高。

下一部分是再次处理相同的数组：

else {$AT | where {$_.'DateFull' -eq $datestr

好吧，搜索条件完全一样，但现在结果被发送到一个文件中。这具有使您的工作加倍的副作用。尽管如此，O(2n^2) => O(n^2)，所以至少运行时间并没有以三次或更糟的方式增长。

至于如何解决这个问题，有几件事。如果您根据日期对 CSV 进行排序，则只需一次运行即可对其进行处理。

$at = $at | sort -Property datefull

然后，迭代每一行。由于行是按升序排列的，所以第一个是最旧的。对于每一行，检查日期是否已更改。如果没有，请将其添加到缓冲区。如果有，请保存旧缓冲区并创建一个新缓冲区。

示例不转换 yyyyMMdd 格式的文件名，它假设只有两列 foo 和 datefull 像这样，

$sb = new-object text.stringbuilder
# What's the first date?
$current = $at[0]

# Loop through sorted data
for($i = 0; $i -lt $at.Count; ++$i) {

    # Are we on next date?
    if ($at[$i].DateFull -gt $current.datefull) {
        # Save the buffer
        $file = $("c:\temp\OnOff_{0}.csv" -f ($current.datefull -replace '/', '.') )
        set-content $file $sb.tostring()
        # Pick the current date
        $current = $at[$i]

        # Create new buffer and save data there
        $sb = new-object text.stringbuilder
        [void]$sb.AppendLine(("{0},{1}" -f $at[$i].foo, $at[$i].datefull))    
    } else {
        [void]$sb.AppendLine(("{0},{1}" -f $at[$i].foo, $at[$i].datefull))    
    }
}
# Save the final buffer
$file = $("c:\temp\OnOff_{0}.csv" -f ($current.datefull -replace '/', '.') )
set-content $file $sb.tostring()