如何为具有不同类型和大小的 6 个参数的函数实现多处理答案

【问题标题】：how to implement multiprocessing for function that takes 6 parameters with different types and sizes如何为具有不同类型和大小的 6 个参数的函数实现多处理
【发布时间】：2019-08-28 16:23:07
【问题描述】：

我有一个函数需要 5 个或更多参数作为输入，这些参数有不同的类型和大小，在这种情况下如何应用多处理。

假设在这个虚拟样本中

功能：

def func(arr1, arr2, arr3, mtx1, mtx2, st):

# the function will output three arrays that has the same size as the arr1
result1 = np.zeros((len(arr1), 1))
result2 = np.zeros((len(arr1), 1))
result3 = np.zeros((len(arr1), 1))

# the function will make iteration through the 0 to the length of the arr1
for i, _ in enumerate(arr1):
    # it does a lot of computations using the #th number of arr1, arr2, arr3, but takes the whole matrices mtx1 amd mtx2 
    # some details of the calculation based on the setting of the string 

return result1, result2, result3

主要功能是定义所有参数，然后输入到函数中。

如果 name == 'main'：

arr1 = np.array([100,200,300])
arr2 = np.array([400,500,600])
arr3 = np.array([700,800,900])
mtx1 = np.array([[1,2,3,4,5],[6,7,8,9,10],[11,12,13,14,15]])
mtx2 = np.random.rand(10,10)
st = 'string'

results = func(arr1, arr2, arr3, mtx1, mtx2, str)

我已尝试按照其他人的建议使用 Pool 和 map，例如：

p = Pool()
results = p.map(func, arr1, arr2, arr3, mtx1, mtx2, st)
p.close()
p.join()

这会报错：

map() 接受 3 到 4 个位置参数，但给出了 8 个

我在网上找到的大多数多处理示例都采用与函数输入相同大小的数组，并且该函数只进行非常简单的数学计算。但这不是我的情况，我应该如何解决这个问题？

谢谢！

【问题讨论】：

我想您应该阅读一些文档以了解您在map() 中的错误。但是这里有一个根本问题：如果您执行一个函数调用，multiprocessing.ThreadPool 将完全没用。它将多个函数调用分配给多个线程，它不会优化一个函数调用以绕过 GIL。

标签： python multiprocessing python-multiprocessing

【解决方案1】：

您对map 的使用有点不对劲。第二个参数应该是 iterable - 即元组或列表。像这样：

results = p.map(func, (arr1, arr2, arr3, mtx1, mtx2, st))

对于同一函数的多次调用，您可以尝试使用星图：https://docs.python.org/dev/library/multiprocessing.html#multiprocessing.pool.Pool.starmap

starmap 的参数应该是一个可迭代的，将为您的函数解包。

【讨论】：