导入 CSV 太慢

Question

我目前有一个 PowerShell 脚本，该脚本将导入 CSV 文件，然后过滤第一列以在该行超过特定时间时删除整行。但是，使用Import-Csv 需要很长时间。在不使用Import-Csv 的情况下，是否有其他方法可以达到相同的结果？

这是目前的脚本：

$files = Get-ChildItem "C:\Results\*.csv"

foreach ($file in $files) {
    $filename = [IO.Path]::GetFileNameWithoutExtension($file)
    $csv = Import-Csv $file

    $dateTime = $csv[0]."Date and Time"

    $startTime = $dateTime.Substring($dateTime.get_Length()-8)

    $endTime = $startTime
    [int]$hour, [int]$min, [int]$sec = $endTime.Split(':')

    $hour = $hour + 1
    $min = 44
    $sec = 59

    $csv | ForEach-Object {
        $lineTime = $_."Date and Time"
        $startTime = $lineTime.Substring($lineTime.get_Length()-8)
        $newHour, $newMin, $newSec = $startTime.Split(':')
        if (($newHour -lt $hour -and $newMin -gt $min) -or ($newHour -eq $hour -and $newMin -le $min)) {
            $_ | Export-Csv -Path "C:\PerfResults\NewFiles\$filename-NEW.csv" -Append 
        }
    }
}

编辑：

根据 Olaf 的要求，以下是 CSV 文件中的数据示例：

日期和时间 内存过量使用（1 分钟平均值） 内存过量使用（5 分钟平均值） 内存过量使用（15 分钟平均值） Cpu 负载（1 分钟平均值） Cpu 负载（5 分钟平均值） 负载（15 分钟平均值） 物理 Cpu(0)\ % 处理器时间 2018 年 7 月 24 日 14:45:03 0 0 0 0.11 0.13 0.11 7.31 2018 年 7 月 24 日 14:45:06 0 0 0 0.11 0.13 0.12 1.41

Answer 1

当你处理 DateTime 对象时，你应该这样对待它们。您可以计算甚至比较它们比字符串更容易。我认为这会让你的生活更轻松。当您首先收集所需的所有数据然后将它们一次保存到文件中时，速度会更快。

$fileList = Get-ChildItem "C:\Results\*.csv"

foreach($file in $fileList) {
    $csv = Import-CSV -Path $file.FullName -Delimiter "`t"
    $NewData = foreach($Data in $csv){
        $Data |
            Select-Object -Property *,
                                    @{
                                        Name = 'NewDateAndTime';
                                        Expression = {
                                            $DateTime = [DateTime]::ParseExact($($Data.'Date and Time'),"MM/dd/yyyy HH:mm:ss",$null)
                                            $DateTime.AddHours(-4)
                                        }
                                    }
    }
    $NewData | Export-Csv -Path "C:\PerfResults\NewFiles\$($file.BaseName)-NEW.csv" -Delimiter "`t" -NoTypeInformation -Force
}

如果您在输出 csv 中不需要来自输入 csv 的所有数据，您可以使用 Select-Object 选择您需要的数据。

编辑：附加说明 - 我将“字符串”日期和时间从 csv 文件转换为具有计算属性的 DateTime 对象。然后我只减去了 4 个小时来展示如何使用 DateTime 对象进行计算。当然，您应该根据您的特殊需求对其进行调整。 ;-)