并行实现比 Julia 中的串行实现慢

Question

为什么在下面的 Julia 代码中并行实现比串行慢？

using Distributed

@everywhere function ext(i::Int64)
   callmop = `awk '{ sum += $1 } END { print sum }' infile_$(i)`
   run(callmop)
end

function fpar()
   @sync @distributed for i = 1:10
      ext(i)
   end
end

function fnopar()
   for i = 1:10
      ext(i)
   end
end

val, t_par, bytes, gctime, memallocs = @timed fpar()
val, t_nopar, bytes, gctime, memallocs = @timed fnopar()

println("Parallel: $(t_par) s. Serial: $(t_nopar) s")  
# Parallel: 0.448290379 s. Serial: 0.028704802 s

文件infile_$(i) 包含一列实数。经过一些研究，我遇到了处理类似问题的post 和other post)。不过，如果考虑到 Julia 的开发速度，它们似乎有点过时了。有什么办法可以改善这个平行部分吗？非常感谢您。

Answer 1

您的代码是正确的，但您错误地衡量了性能。

请注意，对于这个用例场景（调用外部进程），您应该可以使用绿色线程 - 根本不需要分配负载！

当一个 Julia 函数第一次被执行时，它正在被编译。当您在几个并行进程上执行它时，它们都需要编译同一段代码。

最重要的是，第一个@distribution 宏运行也需要很长时间来编译。 因此，在使用 @timed 之前，您应该调用一次 fpar 和 nofpar 函数。

最后但同样重要的是，您的代码中没有 addprocs，但我假设您已使用 -p Julia 选项将工作进程添加到您的 Julia 主进程。顺便说一句，你没有提到你有多少个工作进程。

我通常这样测试代码：

@time fpar()
@time fpar()
@time fnopar()
@time fnopar()

第一个措施是了解编译时间，第二个措施是了解运行时间。

还值得一看 BenchmarkTools 包和 @btime 宏。

关于性能测试@distributed 有很大的通信开销。在某些情况下，这可以通过使用SharedArrays 在其他情况下通过使用Thread.@threads 来缓解。但是，在您的情况下，最快的代码将是使用绿色线程的代码：

function ffast()
   @sync for i = 1:10
      @async ext(i)
   end
end