在内部范围内执行时，不会调用多处理池 apply_async 的工作程序和回调 [重复]

Question

这是我的代码：

import pandas as pd
import multiprocessing as mp

CPU = 4

inp = pd.DataFrame({ 'col': ['a', 'b'] })

def test(dataframe):
    df = dataframe.copy()

    def worker(data):
        print('worker')

    def callback(data):
        print('callback')

    pool = mp.Pool(CPU)

    for idx, row in df.iterrows():
        print((idx, row['col']))
        pool.apply_async(worker, args=[(idx, row['col'])], callback=callback)

    pool.close()
    pool.join()

    return df

test(inp)

如果我在上层范围内运行（不包含在 test 函数中），它会按预期工作，但是在将它包含在另一个函数中之后 - 它们只是没有被调用。

这是我使用test 函数收到的输出：

(0, 'a')
(1, 'b')

没有：

(0, 'a')
(1, 'b')
worker
worker
callback
callback

所以问题是 - 我怎样才能让它在另一个函数中工作？

Answer 1

来自multiprocessing 模块文档：

安全导入主模块

确保新的 Python 解释器可以安全地导入主模块，而不会导致意外的副作用（例如 开始一个新的进程）。

---

注意 此包中的功能要求子组件可以导入 __main__ 模块。这包含在 Programming guidelines 不过这里值得指出。

正确的方法之一如下：

import pandas as pd
import multiprocessing as mp

CPU = 4
inp = pd.DataFrame({'col': ['a', 'b']})

def worker(data):
    print(data)
    print('worker')

def callback(data):
    print('callback')

def test(dataframe):    
    df = dataframe.copy()   

    with mp.Pool(CPU) as pool:
        for idx, row in df.iterrows():
            result = pool.apply_async(worker, args=[(idx, row['col'])], callback=callback)
            result.wait()

    return df

if __name__ == '__main__':    
    test(inp)

输出：

(0, 'a')
worker
(1, 'b')
worker
callback
callback