具有全局数据的python并行映射（multiprocessing.Pool.map）

Question

我正在尝试在多个进程上调用一个函数。显而易见的解决方案是 python 的 multiprocessing 模块。问题是该功能有副作用。它创建一个临时文件并使用atexit.register 和全局列表注册要在退出时删除的文件。下面应该说明问题（在不同的上下文中）。

import multiprocessing as multi

glob_data=[]
def func(a):
    glob_data.append(a)

map(func,range(10))
print glob_data  #[0,1,2,3,4 ... , 9]  Good.

p=multi.Pool(processes=8)
p.map(func,range(80))

print glob_data  #[0,1,2,3,4, ... , 9] Bad, glob_data wasn't updated.

有没有办法更新全局数据？

请注意，如果您尝试上述脚本，您可能不应该从交互式解释器中尝试它，因为 multiprocessing 要求模块 __main__ 可以被子进程导入。

更新

在 func 中添加 global 关键字没有帮助 - 例如：

def func(a):  #Still doesn't work.
    global glob_data
    glob_data.append(a)

Answer 1

您需要列表glob_data 由共享内存支持，Multiprocessing 的管理器为您提供：

import multiprocessing as multi
from multiprocessing import Manager

manager = Manager()

glob_data = manager.list([])

def func(a):
    glob_data.append(a)

map(func,range(10))
print glob_data  # [0,1,2,3,4 ... , 9] Good.

p = multi.Pool(processes=8)
p.map(func,range(80))

print glob_data # Super Good.

对于一些背景：

https://docs.python.org/3/library/multiprocessing.html#managers

Answer 2

让 func 返回一个元组，其中包含您想要的处理结果以及您想要附加到 glob_data 的内容。然后，当 p.map 完成后，您可以从返回的元组中的第一个元素中提取结果，然后可以从第二个元素中构建 glob_data。