python多处理为什么慢得多

Question

对于从列表src_list到dest_list的map任务，len(src_list)是千级：

def my_func(elem):
    # some complex work, for example a minimizing task
    return new_elem

dest_list[i] = my_func(src_list[i])

我使用 multiprocessing.Pool

pool = Pool(4)
# took 543 seconds
dest_list = list(pool.map(my_func, src_list, chunksize=len(src_list)/8))

# took 514 seconds
dest_list = list(pool.map(my_func, src_list, chunksize=4))

# took 167 seconds
dest_list = [my_func(elem) for elem in src_list]

我很困惑。有人可以解释为什么多处理版本运行得更慢吗？

我想知道选择chunksize和选择之间的考虑是什么 多线程和多进程，尤其是对于我的问题。另外，目前，我测量时间 由于直接使用了在 my_func 方法中花费的所有时间

t = time.time()
dest_list = pool.map...
print time.time() - t

不起作用。但是，在here 中，文档说 map() 阻塞直到结果准备好，这似乎与我的结果不同。除了简单地总结时间之外，还有其他方法吗？我尝试了 pool.close() 和 pool.join()，但它不起作用。

src_list 的长度约为 2000。time.time()-t 不起作用，因为它没有总结 pool.map 中 my_func 所花费的所有时间。当我使用 timeit 时发生了奇怪的事情。

def wrap_func(src_list):
    pool = Pool(4)
    dest_list = list(pool.map(my_func, src_list, chunksize=4))

print timeit("wrap_func(src_list)", setup="import ...")

遇到了

OS Error Cannot allocate memory

我猜我用错了timeit...

我在 Ubuntu 14.04 下使用 python 2.7.6。

谢谢！

Answer 1

多处理需要在进程之间传递数据的开销，因为进程不共享内存。在进程之间传递的任何对象都必须经过腌制（表示为字符串）和去腌制。这包括传递给列表src_list 中的函数的对象以及返回给dest_list 的任何对象。这需要时间。为了说明这一点，您可以尝试在单个进程中并行计时以下函数。

def NothingButAPickle(elem):
    return elem

如果您在单个进程中循环您的 src_list，这应该非常快，因为 Python 只需在内存中为列表中的每个对象制作一份副本。相反，如果您与多处理程序包并行调用此函数，则它必须 (1) 腌制每个对象以将其作为字符串从主进程发送到子进程 (2) 对子进程中的每个对象进行解腌以从字符串表示形式变为内存中的对象 (3) 腌制该对象以将其返回给以字符串表示的主进程，然后 (4) 解腌该对象以将其表示在主进程的内存中。在没有看到您的数据或实际函数的情况下，如果您传递的对象非常大和/或函数实际上不是计算密集型，那么这种开销成本通常只会超过多处理收益。