Python 3.5 多处理池和队列不起作用

Question

我遇到了多处理问题。代码包含在下面。代码可以按预期执行，但是当取消注释self.queue = multiprocessing.Queue()时，这个程序会立即退出，似乎子进程无法启动成功。

我不知道发生了什么。有人可以帮我吗？非常感谢！

import multiprocessing
import time

class Test:
    def __init__(self):
        self.pool = multiprocessing.Pool(1)
        #self.queue = multiprocessing.Queue()

    def subprocess(self):
        for i in range(10):
            print("Running")
            time.sleep(1)
        print("Subprocess Completed")

    def start(self):
        self.pool.apply_async(func=self.subprocess)
        print("Subprocess has been started")
        self.pool.close()
        self.pool.join()

    def __getstate__(self):
        self_dict = self.__dict__.copy()
        del self_dict['pool']
        return self_dict

    def __setstate__(self, state):
        self.__dict__.update(state)

if __name__ == '__main__':
    test = Test()
    test.start()

Answer 1

我可以重现您的问题，也没有提出Traceback。
这应该会引发以下错误，不知道为什么：

RuntimeError: 队列对象只能通过继承在进程之间共享

将您的代码行替换为：

    m = multiprocessing.Manager()
    self.queue = m.Queue()  

为什么会出现这种情况？
multiprocessing.Queue 是用于一个 Process，你使用的是multiprocessing.Pool，它使用了多个Process，你必须使用 multiprocessing.Manager().Queue()。

用 Python 测试：3.4.2

Answer 2

• 您使用 apply_async，它会立即返回。所以你应该在某个地方等待结果

• 在后台，python 会将要执行的函数腌制到子进程。但是 self.process 作为一种方法在这里不能腌制（因为 self.pool 属性，请参阅下面 ShadowRanger 的评论）。

---

import multiprocessing
import time

def subprocess():   # is a plain old (pickle-able) function
    for i in range(10):
        print("Running")
        time.sleep(1)
    print("Subprocess Completed")
    return True

class Test:
    def __init__(self):
        self.pool = multiprocessing.Pool(1)

    def start(self):
        result = self.pool.apply_async(subprocess)
        print("Subprocess has been started")
        result.get()    # wait for the end of subprocess
        self.pool.close()
        self.pool.join()

if __name__ == '__main__':
    test = Test()
    test.start()