PowerShell 并行与顺序作业 - 顺序更快？

Question

我正在尝试实现 Windows EventLogs 的多线程解析，并且在双核系统上我发现顺序代码比并行代码快得多。这些是例子：

顺序：

$start = Get-Date

$code1 = { Get-WinEvent -Path "D:\logs\hostname-security-20131003005914.evtx" -MaxEvents 200 }
$code2 = { Get-WinEvent -Path "D:\logs\hostname-security-20131003015906.evtx" -MaxEvents 200 }

$result1 = & $code1
$result2 = & $code2

$end = Get-Date
$timespan = $end - $start
$seconds = $timespan.TotalSeconds
Write-Host "This took me $seconds seconds in all."

平行：

$start = Get-Date

$code1 = { Get-WinEvent -Path "D:\logs\hostname-security-20131003005914.evtx" -MaxEvents 200 }
$code2 = { Get-WinEvent -Path "D:\logs\hostname-security-20131003015906.evtx" -MaxEvents 200 }

$job1 = Start-Job -ScriptBlock $code1 
$job2 = Start-Job -ScriptBlock $code2 

$alljobs = Wait-Job $job1, $job2
$result1, $result2 = Receive-Job $alljobs

$end = Get-Date
$timespan = $end - $start

$seconds = $timespan.TotalSeconds
Write-Host "This took me $seconds seconds in all."

顺序代码运行时间约为 5 秒（CPU 使用率接近 50%），而并行代码运行时间约为 19 秒（CPU 使用率接近 100%）。我已经回显了结果以确保它们都是正确的并且看起来很好。

我正在运行 Windows 8。PowerShell 详细信息是：

名称值
---- -----
PS版本 3.0
WSManStackVersion 3.0
序列化版本 1.1.0.1
CLRVersion 4.0.30319.18051
构建版本 6.2.9200.16628
PSCompatibleVersions {1.0、2.0、3.0}
PSRemotingProtocolVersion 2.2

有什么想法吗？

编辑： 产生这个难题的不仅仅是 Get-WinEvent；我尝试使用 Get-ChildItem 得到相同的结果。

但是，将其作为要执行的代码，并行代码运行得更快（如预期的那样）：

$code1 = { Start-Sleep -Seconds 5; "A" }
$code2 = { Start-Sleep -Seconds 12; "B" }

连续 17.002 秒。 并行 14.2 秒。

Answer 1

当您使用 Powershell 作业时，Powershell 会创建一个新会话来运行脚本块。

试试这个：

measure-command { start-job -ScriptBlock {} }

这是您创建工作所花费的时间。如果您正在使用该作业的任务花费的时间少于此时间，那么您最好在本地会话中按顺序运行这些任务。

Answer 2

对于您创建的每个作业，都会创建一个新的 powershell 进程，该进程需要资源来进行调度、加载 .net 运行时等。它会产生大量 CPU 开销，并且每个作业至少需要 20mb+ 内存。

因此，工作更适合：

• 持续数分钟或数小时的长时间运行脚本。

• 在多台计算机上并行运行代码。

Answer 3

Thomas Lee http://tfl09.blogspot.com/2010/12/powershell-jobs.html 的进一步文档支持这里已经说过的内容：

“每次运行 PowerShell 作业（无论是在 ISE 还是控制台中），PowerShell 都会创建一个 PowerShell.exe 实例来执行脚本或脚本块。这意味着每个作业都会带来一些开销——进程创建有 CPU/IO/Memory 要求。但是如果您可以在单独的进程中运行多个任务，那么借助 Window 的多处理功能，这些作业可以并行运行，因此总体时间要短得多。至少在理论上！

视情况而定。如果正在执行的任务使用大量资源来实际执行，那么让多个任务并行运行会提高资源利用率。具体来说，如果有超过一两个“繁重”任务，您会发现系统正在大量分页。这种分页实际上可能最终会减慢执行速度，以至于并行化的好处被分页成本所抵消。”