python中的并行计算明显慢于常规for循环

Question

所以我正在尝试在 python 中进行一些简单的图像分析，我有一个有问题的视频的 numpy 数组，它的形状为 (930, 256, 256)，即 930 帧，分辨率为 256 256 像素。

我正在尝试并行进行种子像素相关，我的计算机有 12 个内核，所以我应该能够编写一个并行 for 循环并更快地获得结果。

这是我在四处寻找编写并行 for 循环的方法后想到的。但是，它比非并行版本慢得多！！

也许有人可以告诉我更好的写作方式？ （使用其他库！） 或者也许有人可以告诉我为什么它更慢？

这是我想出的代码：

import numpy as np
from scipy.stats.stats import pearsonr
from joblib import Parallel, delayed  
import multiprocessing

def corr(pixel, seed_pixel):
    return pearsonr(pixel, seed_pixel)[0]

def get_correlation_map(seed_x, seed_y, frames):
    seed_pixel = np.asarray(frames[:, seed_x, seed_y], dtype=np.float32)

    # Reshape into time and space
    frames = np.reshape(frames, (total_number_of_frames, width*height))
    #correlation_map = []
    #####################################
    print 'Getting correlation...'

    # The parallel version.
    correlation_map = Parallel(n_jobs=12)(delayed(corr)(pixel, seed_pixel) for pixel in frames.T)

    # Non parallel version
    #correlation_map = []
    #for i in range(frames.shape[-1]):
        #correlation_map.append(pearsonr(frames[:, i], seed_pixel)[0])
    #####################################
    correlation_map = np.asarray(correlation_map, dtype=np.float32)
    correlation_map = np.reshape(correlation_map, (width, height))
    print np.shape(correlation_map)

    return correlation_map

我所需要的只是一种并行化 for 循环的方法，该循环将按迭代顺序将其结果附加到列表中。所以我想同步可能是个问题！

Answer 1

您可能遇到了问题，因为传递给Parallel 的参数很大并且都被序列化了。如果（我假设）personr 释放 GIL，您可以使用 backend="threading" 来避免这种情况。否则你可能不得不查看numpy.memmap 并坚持使用multiprocessor

correlation_map = Parallel(n_jobs=12, backend="threading")(delayed(corr)(pixel, seed_pixel) for pixel in frames.T)