如何使用 Python 在多处理池中使用值

Question

我希望能够使用多处理库中的值模块来跟踪数据。据我所知，当涉及到 Python 中的多处理时，每个进程都有自己的副本，所以我无法编辑全局变量。我希望能够使用 Values 来解决这个问题。有谁知道我如何将 Values 数据传递到池化函数中？

from multiprocessing import Pool, Value
import itertools

arr = [2,6,8,7,4,2,5,6,2,4,7,8,5,2,7,4,2,5,6,2,4,7,8,5,2,9,3,2,0,1,5,7,2,8,9,3,2,]

def hello(g, data):
    data.value += 1

if __name__ == '__main__':
    data = Value('i', 0)
    func = partial(hello, data)
    p = Pool(processes=1)
    p.map(hello,itertools.izip(arr,itertools.repeat(data)))

    print data.value

这是我得到的运行时错误：

RuntimeError: Synchronized objects should only be shared between processes through inheritance

有谁知道我做错了什么？

Answer 1

我不知道为什么，但是使用Pool 似乎存在一些问题，如果手动创建子进程则不会出现这些问题。例如。以下作品：

from multiprocessing import Process, Value

arr = [1,2,3,4,5,6,7,8,9]


def hello(data, g):
    with data.get_lock():
        data.value += 1
    print id(data), g, data.value

if __name__ == '__main__':
    data = Value('i')
    print id(data)

    processes =  []
    for n in arr:
        p = Process(target=hello, args=(data, n))
        processes.append(p)
        p.start()

    for p in processes:
        p.join()

    print "sub process tasks completed"
    print data.value

但是，如果您使用Pool 进行基本相同的思考，则会收到错误“RuntimeError：同步对象只能通过继承在进程之间共享”。我以前在使用池时看到过该错误，但从未完全了解它。

似乎可以与Pool 一起使用的Value 的替代方法是使用管理器为您提供“共享”列表：

from multiprocessing import Pool, Manager
from functools import partial


arr = [1,2,3,4,5,6,7,8,9]


def hello(data, g):
    data[0] += 1


if __name__ == '__main__':
    m = Manager()
    data = m.list([0])
    hello_data = partial(hello, data)
    p = Pool(processes=5)
    p.map(hello_data, arr)

    print data[0]

Answer 2

几乎不需要将Values 与Pool.map() 一起使用。

map 的中心思想是将函数应用于列表或其他迭代器中的每个项目，将返回值收集到列表中。

Pool.map 背后的想法基本相同，但随后分散到多个进程中。在每个工作进程中，映射函数都会被迭代器中的项目调用。 来自工作进程中调用的函数的返回值被传输回父进程并收集在最终返回的列表中。

---

或者，您可以使用Pool.imap_unordered，它会在结果可用时立即开始返回结果，而不是等到一切都完成。因此，您可以统计返回结果的数量并使用它来更新进度条。