使用 11k 行的 Where-Object 过滤的巨大（13M 行）的 Import-Csv

Question

我有一个巨大的 csv 文件，其中包含大约 1300 万行和大约 50 列（文件 #1）。我有另一个包含大约 11k 行的文件，它是 IP 地址列表（文件 #2），它也是第一个文件中的 50 列之一。如何过滤文件 #1，以便输出仅包含从文件 #2 中找到 IP 地址的那些行？

这是我迄今为止尝试过的，但它已经运行了 12 个小时并且还在计数：

$IP = Get-Content -Path C:\Documents\File2.txt

Import-Csv C:\Documents\File1.csv | Where-Object {$_.IP -eq $IP} | Export-csv -Path C:\Documents\File3.csv -NoTypeInformation

Answer 1

你可以让这个脚本运行得更快：

• 无需使用 Import-Csv/Export-csv。读/写行是 足够而且更快
• $_.ip -in $IP 效率低下。利用 用于查找的哈希表（它将是即时的）
• 使用 .net 工具 而不是内置的 cmdlet

下面是我提到的优化脚本。运行前检查注释行

$inFile = "C:\stack\IpTables\Data.txt"
$IPfile =  "C:\stack\IpTables\IPs.txt"
$outFile = "C:\stack\IpTables\OutData.txt"
$ipIndexInData = 47 #index of IP address column in your data file

#build a hashtable for IP look up. 
$hash = @{}
[System.IO.File]::ReadAllLines($IPfile) | foreach {$hash.Add($_, $true)}
# if IP values in your list are not unique then wrap $hash.Add() with try/catch


$fsIn = [System.IO.StreamReader]$inFile
$fsOut = [System.IO.StreamWriter]$outFile

$fsOut.WriteLine($fsIn.ReadLine()) # this will write first row with column names to out file. Comment it out if first row is data row

while (!$fsIn.EndOfStream) {

 $line = $fsIn.ReadLine()
 $row = $line -split ","

 if($hash[$row[$ipIndexInData].Trim('"')]) { # remove .Trim('"') if values in your data file are not quoted with "

    $fsOut.WriteLine($line)
 }

}