类中的 multiprocessing.apply_async(myfunc, ...) 似乎没有调用 myfunc

Question

import multiprocessing


class multiprocessing_issue:
    def __init__(self):
        self.test_mp()

    def print_test(self):
        print "TEST TEST TEST"

    def test_mp(self):
        p = multiprocessing.Pool(processes=4)
        p.apply_async(self.print_test, args=())
        print "finished"


if __name__ == '__main__':
    multiprocessing_issue()

我在上面设置了一个简单的测试，创建一个类，调用apply_async 并使用一个应该打印"TEST TEST TEST" 的函数。当我运行它时，我看到打印了"finished"，但它从未像预期的那样打印"TEST TEST TEST"。

谁能看到这个简单测试用例中的错误？我已将其设置为重现我在代码中使用它的方式。

Ubuntu 上的 Python 2.7

Answer 1

修改test_mp如下：

def test_mp(self):
    p = multiprocessing.Pool(processes=4)
    r = p.apply_async(self.print_test, args=())
    print r.get()

答案会更清楚。

Traceback (most recent call last):
  File "test.py", line 18, in <module>
    multiprocessing_issue()
  File "test.py", line 6, in __init__
    self.test_mp()
  File "test.py", line 14, in test_mp
    print r.get()
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 567, in get
    raise self._value
cPickle.PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed

实例方法cannot be serialized 很容易。 Pickle 协议在序列化函数时所做的只是将其转换为字符串。

In [1]: dumps(function)
Out[1]: 'c__main__\nfunction\np0\n.'

对于子进程来说，由于不同的进程地址空间，很难找到实例方法所引用的正确对象。

dill 之类的模块比 Pickle 做得更好。然而，我不鼓励你混合并发和 OOP，因为逻辑很容易混淆。

Answer 2

啊，在进程之间移动类引用是个问题，如果我在模块级别而不是类级别定义方法，一切正常。

import multiprocessing


class multiprocessing_issue:
    def __init__(self):
        self.test_mp()

    def test_mp(self):
        p = multiprocessing.Pool(4)
        r = p.apply_async(mptest, args=())
        r.get()
        print "finished"


def mptest():
    print "TEST TEST TEST"


if __name__ == '__main__':
    multiprocessing_issue()