在进程之间共享 numpy 和 scipy 对象

Question

我有两个对象

shared_array = numpy.zeros(20)

和

shared_matrix = scipy.sparse.csr_matrix((data, (row, col)),(20,20),dtype=numpy.float64)

我希望所有进程都可以访问它

multiprocessing.Process(target = random_function, args = (shared_matrix, shared_array))

这是怎么做到的？

Answer 1

如果你只是想访问它，你可以。您可以跨由multiprocessing 创建的所有进程从全局变量中读取数据。

但是，如果您想写入例如字典（注意不要覆盖），您可以使用共享内存对象。 multiprocessing 有一个内置的manager，您可以从中调用所有共享内存对象，例如列表、字典。

您在参数中传递所有对象，因此它将可用于所有进程，但是如果您在对象内部进行更改，我们不会永久更改它，因为它不会通过简单的函数永久保存。

numpy 数组的简单示例：

import numpy as np
import multiprocessing

a = np.zeros(5)

def func(b):
    ns.array += b
    return

manager = multiprocessing.Manager()
ns = manager.Namespace()
ns.array = np.zeros(5)
pool = multiprocessing.Pool(2)

list(pool.imap_unordered(func, [1,2]))
print(ns.array)

将输出[ 3. 3. 3. 3. 3.]

这里还有一个非常详细的解决方案：https://stackoverflow.com/a/7908612/4555249