查找前 3 个字符的所有唯一出现，计算出现次数并将输出写入文件

Question

我有一个超过 2.5 亿行的文本文件。每行都有一个 3 位数的区号，后跟一个逗号和一个 7 位数的号码。

示例输入文件：
201,2220000
201,5551212
310,5552481
376,1239876
443,0002222
572,8880099
...

我想生成一个输出文件，其中列出每个唯一的区号和该区号的出现次数（仅查看每行的前 3 个字符）。

示例输出（区号、计数）：
201, 44556
202、34529
...

我在 Windows 10 环境中工作。

经过大量研究，我能够在 PowerShell 中使用 regex 的 Switch 函数来实现非常接近的效果。这个解决方案的问题是我需要知道我正在寻找哪些区号（而且我不知道这个文件中列出的所有区号）。

我想修改解决方案，使其找到所有唯一的区号，然后运行代码。

这是我尝试过的：

---

1. 说，我要搜索以下四个区号：201,202,203,205
2. 我的文本文件是 datafile.txt

   $count1 = 0
   $count2 = 0
   $count3 = 0
   $count4 = 0
   switch -File C:\datafile.txt -Exact -Regex { '201\S{8}' { ++$count1 } }
   Write-Output "Area Code 201: $($count1)" | Format-Table | Out-File "C:\summary.txt" -append
   switch -File C:\datafile.txt -Exact -Regex { '202\S{8}' { ++$count2 } }
   Write-Output "Area Code 202: $($count2)" | Format-Table | Out-File "C:\summary.txt" -append
   switch -File C:\datafile.txt -Exact -Regex { '203\S{8}' { ++$count3 } }
   Write-Output "Area Code 203: $($count3)" | Format-Table | Out-File "C:\summary.txt" -append
   switch -File C:\datafile.txt -Exact -Regex { '205\S{8}' { ++$count4 } }
   Write-Output "Area Code 204: $($count4)" | Format-Table | Out-File "C:\summary.txt" -append
   

   此代码生成文件 summary.txt 并将计数附加到区号。但是，我认为这是低效的，因为：

   1. 我需要知道这个数据文件中的所有区号。
   2. 我必须为每个额外的区号添加 3 行代码。

      感谢任何改进此代码或使用替代解决方案的帮助（我在 Stackoverflow 上发现了一个使用 grep https://stackoverflow.com/questions/61229157/using-regex-in-grep-for-windows-command-line 的线程，但它具有相同的限制 - 您需要知道要搜索的字符串。

Answer 1

假设我理解正确，这里不需要 regex，只需要 .SubString(0, 3) 来获取每行的前 3 个字符和 hashtable 来确保唯一代码和效率。

实际上，switch -File 非常适合这项任务，应该用来读取您的文件。否则，为简单起见并保持高效，您可以使用File.ReadLines。

$map = @{ }
switch -File path	osourceile.txt {
    Default {
        $map[$_.Substring(0, 3)] += 1
    }
}

$map.GetEnumerator() | ForEach-Object {
    [pscustomobject]@{
        Code  = $_.Key
        Count = $_.Value
    }
} | Export-Csv path	o
esultOfUniqueCodes.csv -NoTypeInformation

Answer 2

流媒体方法只是我的两分钱——尽量避免所有相对较慢的东西，比如ForEach-Object、pscustomobject和Export-Csv。

# Create a scriptblock to be able to pipe output of foreach loop
& { 
    foreach( $line in [IO.File]::ReadLines( 'input.txt' ) ) { 
        $line.Substring( 0, 3 )
    }
} | Group-Object -NoElement | & {
    begin {
        'Code,Count'
    }
    process {
        '{0},{1}' -f $_.Name, $_.Count
    }
} | Set-Content output.csv

评论：

• foreach( $line in [IO.File]::ReadLines( 'input.txt' ) ) 懒惰地处理输入文件，所以它是不是整体读入内存。这是有效的，因为 ReadLines 返回一个 foreach 理解的迭代器（不是集合）。正如其他人提到的那样，ReadLines 被认为是逐行处理文本文件的最快方法之一，同时仍然提供易用性（与使用 .NET 流相比）。
• Group-Object -NoElement 仅计算唯一输入元素的出现次数，可能使用内部哈希表，因此它应该与手动创建的哈希表一样快（尽管未测量 - 这真的很有趣）。
• 从Group-Object 到脚本块的管道比使用脚本块的ForEach-Object 快得多，请参阅GitHub issue。尽管在您的情况下并不重要，但瓶颈将是读取和处理输入文件。
• 由于已知输入数据的种类，我们可以避免Export-Csv的复杂性（如转义规则），并使用简单的字符串操作和Set-Content直接创建CSV。同样，在这里不会真正有所作为，但对于其他输出量更大的情况，了解它可能仍然是件好事。

Answer 3

尝试以下：

$input = @"
area,number
201,44556
202,34529
201,44556
202,34529
201,44556
202,34529
201,44556
202,34529
"@

$table = $input | ConvertFrom-Csv
$table | Format-Table

$groups = $table | Group-Object {$_.area}

$outputTable = [System.Collections.ArrayList]::new()
foreach($group in $groups)
{
$group | Format-Table

   $newRow = New-Object -TypeName psobject
   $newRow | Add-Member -NotePropertyName area -NotePropertyValue $group.Name

   $newRow | Add-Member -NotePropertyName count -NotePropertyValue $group.Count

   $outputTable.Add($newRow)  | Out-Null
}
$outputTable | Format-Table