Numpy Python 并行化扩展到串行计算

Question

在尝试并行化我的主程序之前，我试图通过在 Python 中并行化一段玩具代码来展示某种改进。我决定采用的方法是并行执行四次矩阵求逆，然后执行一次相同的矩阵求逆并乘以四来估计问题需要多长时间才能串行完成。我知道并行化会产生一些持续的开销，但作为一阶近似值，这对我的目的来说应该没问题。

我遇到的问题是并行计算运行速度很慢，以至于看起来四个反转中的每一个都只是在串行执行。

我已包含我的代码以进行比较。请注意，我尝试了两种不同的方法，一种仅使用多处理，另一种使用 joblib（已注释掉），两者都给了我相当的运行时间。 mp.cpu_count 返回 20 个可用 CPU，因此我确信这不是我的计算机的问题。

from joblib import Parallel, delayed
import multiprocessing as mp
import numpy as np
import time

if __name__ == '__main__':
    A = np.random.random((10000,10000))
    tA = [A,A,A,A]
    print mp.cpu_count()

    pool = mp.Pool(4)
    t = time.time()
    # results = Parallel(n_jobs=4)(delayed(np.linalg.inv)(i) for i in tA)
    results = pool.map(np.linalg.inv, tA)
    print time.time() - t

    t = time.time()
    temp = np.linalg.inv(A)
    print (time.time()-t)*len(tA)

作为参考，这是我运行此代码时的输出

20
62.151000229
52.516007477

Answer 1

在不使用基于进程的并行化时检查您的 CPU 负载。看到您的 非并行 代码大量使用线程（透明地），我不会感到惊讶。以 cpu-load 为例，这不是一个证据，而是一个强有力的迹象。

如果您的系统设置正确，BLAS/LAPACK 将被使用 (dgetrf)，并且大多数实现应该是高度线程化的（在 C 或 Fortran 代码中）！如果这是真的，那么这显然是您的基准测试中的一个问题。