多处理执行比串行执行慢

Question

我正在尝试处理多处理，但在我的情况下，多处理似乎最终比串行执行慢。我尝试了下面发布的 sn-p，结果对我来说比较慢。我想使用我拥有的所有处理器来执行。还有一件事，有没有办法提升 for 循环和嵌套 for 循环。

import multiprocessing
import time

def add(a ,b ,c):
    d = 0
    for i in range(len(a)):
        d = a[i] + b + c
    return d

a = list()

for i in range(999999):
    a.append(i)

b = a[2] + a[9]
c = a[3] + a[8]

#Serial
execTime = time.time()
res = add(a, b, c)
print "Serial:    " + str(res) + " Exec Time: " + str(time.time() - execTime)

#Multiprocessing
execTimeMult = time.time()
resSet = [a, b, c]

cpu = multiprocessing.cpu_count()
pool = multiprocessing.Pool(cpu)
res = pool.apply(add, resSet)

print "Multiproc: " + str(res) + " Exec Time: " + str(time.time() - execTimeMult)

结果：

序列号：1000020 执行时间：0.0912199020386

多进程：1000020 执行时间：0.257400989532

Answer 1

这并不奇怪。 Pool.apply 函数在单独的进程中执行，这意味着一些事情。正如@tripleee 的回答所提到的，启动该过程存在开销，尽管我认为这并不能解释一切。 （这应该比较快，而且远低于 100 毫秒。）

要考虑的第二件事是需要一些数据传输，在本例中是一个大约 8Mb 的列表。这必须在管道上移动，包括对对象进行酸洗和解酸。

如果您在函数中执行了更多“工作”，您会看到相对差异下降，尽管常数因素相似。对于像下面这样的add 方法，我得到0.96s 和1.09s 的时间。所以相同的常数因子，但相对差异显然要小得多。

def add(a, b, c):
    for _ in range(10):
        d = 0
        for i in range(len(a)):
            d = a[i] + b + c
    return d

Answer 2

这很容易解释，也是一个常见的常见问题解答：为每个微不足道的计算启动一个新进程的开销大大掩盖了并行执行的好处，尤其是在这种情况下，每次计算都有相当多的数据需要从调用者复制到执行者。