过滤大型 CSV 文件

Question

我有一些具有相同标题的大型 CSV 文件 (500MB+)，我想在过滤机器类型 = 工作站后将其合并到一个合并文件中。如何将特定列标题“machine_type”过滤为“工作站”。下面的代码可以工作，但会创建包含太多行数据的 CSV 文件。感谢帮助。 Import-Csv 给了我“System.OutofMemoryException”异常。

$inputFolder = c:\change\imput
$outputFile  = 'C:\Change\filtered.csv'

$writer = New-Object IO.StreamWriter ($outputFile, $false)

Get-ChildItem $inputFolder -File | Where-Object {
$_.Extension -eq '.csv'
} | ForEach-Object {
  $reader = New-Object IO.StreamReader ($_.FullName)
  if (-not $headerWritten) {
    # copy header line to output file once
    $writer.WriteLine($reader.ReadLine())
    $headerWritten = $true
  } else {
    # discard header line
    $reader.ReadLine()
  }

  while ($reader.Peek() -ge 0) {
    $line   = $reader.ReadLine()
    $fields = $line -split ','
    #if ($line -match 'Workstation' ) {  
      $writer.WriteLine($line)
    #}
  }

  $reader.Close()
  $reader.Dispose()
}

$writer.Close()
$writer.Dispose()

Answer 1

这应该不会导致OOM异常：

Get-ChildItem $inputFolder -File -Filter '*.csv' |
    ForEach-Object { Import-Csv $_.FullName } |
    Where-Object { $_.machine_type -eq 'workstations' } |
    Export-Csv $outputFile -NoType

Answer 2

如果我错了，请纠正我，但我猜“工作站”这个词也出现在工作站类型以外的其他列中，所以它也匹配那些行？您可以为此使用更精细的正则表达式（使用捕获组），请参见下面的代码：

$inputFolder = 'c:\temp\csv'
$outputFile  = 'C:\temp\filtered.csv'

$headerWritten = $false
[regex] $csvPattern = '(?imx)^(?<name>\w+)(\s?,\s?)(?<machine_type>\w+)(\s?,\s?)(?<location>\w+)'

$writer = New-Object IO.StreamWriter ($outputFile, $false)

Get-ChildItem $inputFolder -File | Where-Object {
$_.Extension -eq '.csv'
} | ForEach-Object {
  $reader = New-Object IO.StreamReader ($_.FullName)
  if (-not $headerWritten) {
    # copy header line to output file once
    $writer.WriteLine($reader.ReadLine())
    $headerWritten = $true
  } else {
    # discard header line
    $reader.ReadLine()
  }

  while ($reader.Peek() -ge 0) {
    $line   = $reader.ReadLine()

    if ($csvPattern.Match($line).Groups.Item('machine_type').value -eq 'WorkStation' ) {  
        if ($line -match 'Workstation' ){
      $writer.WriteLine($line)
    }
  }

  $reader.Close()
  $reader.Dispose()
}

$writer.Close()
$writer.Dispose()