在 python 中尝试使用多处理运行循环时出错答案

【问题标题】：Error when trying run loop with multiprocessing in python在 python 中尝试使用多处理运行循环时出错
【发布时间】：2022-12-07 12:54:29
【问题描述】：

我正在尝试使用并行多处理在循环中多次运行一个函数。

当我运行这个简单的代码时：

import time
from multiprocessing import Pool

def heavy_processing(number):
    time.sleep(0.05)  # simulate a long-running operation
    output = number + 1
    return output

with Pool(4) as p:
    numbers = list(range(0, 1000))    
    results = p.map(heavy_processing, numbers)

我收到以下错误：

Process SpawnPoolWorker-1:
Traceback (most recent call last):
  File "C:\ProgramData\Miniconda3\lib\multiprocessing\process.py", line 315, in _bootstrap
    self.run()
  File "C:\ProgramData\Miniconda3\lib\multiprocessing\process.py", line 108, in run
    self._target(*self._args, **self._kwargs)
  File "C:\ProgramData\Miniconda3\lib\multiprocessing\pool.py", line 114, in worker
    task = get()
  File "C:\ProgramData\Miniconda3\lib\multiprocessing\queues.py", line 367, in get
    return _ForkingPickler.loads(res)
AttributeError: Can't get attribute 'heavy_processing' on <module '__main__' (built-in)>

我不确定为什么，因为我几乎直接从其他来源提取了这个例子。知道发生了什么事吗？

【问题讨论】：

标签： python multiprocessing

【解决方案1】：

当我尝试时，你的例子奏效了。 @Amysoj-Louis 也是正确的。您可以使用任一答案。

import time
from multiprocessing import Pool
from functools import partial


def heavy_processing(number):
    time.sleep(0.05)  # simulate a long-running operation
    output = number + 1
    return output


# Bind the heavy_processing function to the global name `work_func`
work_func = partial(heavy_processing)

with Pool(4) as p:
    numbers = list(range(0, 1000))
    results = p.map(work_func, numbers)

【讨论】：

【解决方案2】：

您必须始终在 if 下运行多处理代码姓名== '主要的'：或者否则它不起作用。如果您看到 cmd 的最后一行，您会看到 AttributeError: Can't get attribute 'heavy_processing' on <module '主要的' (built-in)> 指定它在 ' 上找不到 'heavy_processing'主要的'

完整代码

import time
from multiprocessing import Pool


def heavy_processing(number):
    time.sleep(0.05)  # simulate a long-running operation
    output = number + 1
    print(output)
    return output


if __name__ == '__main__':
    with Pool(4) as p:
        numbers = list(range(0, 1000))
        results = p.map(heavy_processing, numbers)

输出

希望这可以帮助。快乐编码:)

【讨论】：