在多返回函数上实现多进程

Question

我对 python 还很陌生（而且堆栈溢出！），我从未使用过多处理。我目前有一个返回两个值的函数。这些值附加到不同的列表中。该函数有多个必需参数，其中一个来自 for 循环，请参见下面的示例代码。

代码有效，但功能很慢。我想为这个任务实现 MultiProcessing，但是我似乎无法让它基于一个池工作，因为我得到了多个返回值。

for x in list1:
    (a, b) = function(x, y, z)
    if a is not None:
        list2.append(a)
    if b is not None:
        list3.append(b)

有人有什么建议吗？

Answer 1

这看起来像一个embarrassingly parallel 问题，可以通过类似的方法来解决：

import multiprocessing

n_proc = multiprocessing.cpu_count() + 1
pool = multiprocessing.Pool(processes=n_proc)
proc_results = [
    pool.apply_async(func, func_args, func_kwargs)
    for func, func_args, func_kwargs in
    zip(funcs, funcs_args, funcs_kwargs)]
results = [
    proc_result.get() for proc_result in proc_results]

或基于multiprocessing的map()或starmap()的方法。

---

编辑

在你的情况下，代码：

for x in list1:
    a, b = function(x, y, z)
    if a is not None:
        list2.append(a)
    if b is not None:
        list3.append(b)

会变成：

import multiprocessing

n_proc = multiprocessing.cpu_count() + 1
pool = multiprocessing.Pool(processes=n_proc)
proc_results = [pool.apply_async(function, (x, y, z), {}) for x in list1]
for proc_result in proc_results:
    a, b = proc_result.get()
    if a is not None:
        list2.append(a)
    if b is not None:
        list3.append(b)