使用 pool() 跟踪并行循环中的答案 - Python答案

【问题标题】：Keep track of answers in Parallelized loops using pool() - Python使用 pool() 跟踪并行循环中的答案 - Python
【发布时间】：2019-06-13 20:35:00
【问题描述】：

尽管阅读了here、here、here 和许多其他类似的帖子，但我仍然无法将我的问题并行化。这些是我拥有的for 循环：

a = [1,11]
b = [2,22,222]
c = [3,33,333,3333]

results_01 = []
results_02 = []
results_03 = []
for i in range(len(a)):
    for j in range(len(b)):
        for k in range(len(c)):
            r_01 = [a[i] + b[j] + c[k]]
            r_02 = [a[i] - b[j] - c[k]]
            r_03 = [a[i] * b[j] * c[k]]
            results_01.append(r_01)
            results_02.append(r_02)
            results_03.append(r_03)

我需要将此并行化并跟踪i、j 和k 的组合对应于每个最终答案（例如，我需要知道哪些最终答案对应于a[1]、@ 987654330@ 和 c[3])。我尝试了各种方法，但都没有奏效，但对我来说最合乎逻辑的一种是：

import multiprocessing as mp
from multiprocessing import Pool

num_processes = mp.cpu_count()-12

def parallelize(i,j,k):

    r_01 = [i + j + k]
    r_02 = [i - j - k]
    r_03 = [i * j * k]

    return r_01, r_02, r_03

if __name__ == '__main__':
    __spec__ = "ModuleSpec(name='builtins', loader=<class '_frozen_importlib.BuiltinImporter'>)" # this is because I am using Spyder!

    a = [1,11]
    b = [2,22,222]
    c = [3,33,333,3333]

    pool = Pool(processes = num_processes) 

    results = pool.map(parallelize(a[i],b[j],c[k]), [p for p in range(num_processes)])

    pool.close()
    pool.join()

    results_01 = [i[0] for i in results]
    results_02 = [i[1] for i in results]
    results_03 = [i[2] for i in results]

这给了我错误name 'i' is not defined，这完全有道理，但由于我是 MP 新手，我不知道我还能如何做到这一点！有人可以帮我解决这个问题吗？

附：这是我编的一个非常简单的问题！实际上，我的问题要复杂得多，但解决这个问题可以帮助我解决真正的问题。

【问题讨论】：

标签： python multiprocessing pool

【解决方案1】：

试试这个：

results = pool.starmap(parallelize, [(ai, bj, ck) for ai in a for bj in b for ck in c])

一些解释：

pool.map 仅适用于具有一个参数的函数。对于具有更多参数的函数，您可以使用 pool.starmap 为方便起见，它可以帮助您“解包”参数，就像调用 parallelize(*tuple) 一样。
无论您使用pool.map 还是pool.starmap，您都需要将函数本身作为参数传递，而不是单独调用它 --- 重点是要有其他线程为你做你的工作。这意味着函数名后面没有括号。
使用进程池的一个优点是您不必担心如何将任务分派给每个进程。所以与num_processes 无关。只需将您想要执行的所有任务的列表传递给它，然后让池完成其余的工作。（除非每个单独的任务的工作量太少，在这种情况下，您可能需要将它们组合起来以减少开销。）

【讨论】：