使用 python 多进程时在 (CLOSE, TERMINATE) 中断言 self._state

Question

我目前正在尝试使用 python 多处理。我使用的库是multiprocess（不是multiprocessing）。

我有以下代码，它创建了许多计算作业，并通过映射操作运行它：

pool = multiprocess.Pool(4)
all_responses = pool.map_async(wrapper_singlerun, range(10000))
pool.join()
pool.close()

但是，每当我运行这个 sn-p 代码时，我都会收到以下错误：

    pool.join()
  File "/Users/davidal/miniconda3/lib/python3.6/site-packages/multiprocess/pool.py", line 509, in join
    assert self._state in (CLOSE, TERMINATE)
AssertionError

您知道为什么会发生此错误吗？我之前使用过pool.map_async，但我认为我需要一个pool rendez-vous 命令。否则，我的电脑会创建类似 forkbomb 的东西，它会创建太多线程（至少，我认为它是这样做的......）

感谢任何想法！

Answer 1

问题是你在close之前调用join。

multiprocess 似乎是missing its documentation，但据我所知，它基本上是stdlib multiprocessing 的一个分支，用于pickle 的pre-monkeypatches dill，所以multiprocessing文档在这里应该是相关的。 （另外，在评论中，您说您可以使用multiprocessing 重现该问题。）

所以，Pool.join 说：

等待工作进程退出。在使用join() 之前，必须先致电close() 或terminate()。

close 方法是关闭队列发送端的方法，因此无法添加新任务。 join 方法是等待队列中所有内容被处理的方式。在关闭之前等待队列耗尽是行不通的。

但是您在join 之后调用close，而不是之前。而the first thing join does 是assert，你已经调用了close 或terminate，而你还没有调用，因此断言失败。

所以，您可能只想切换这两个调用的顺序。

或者，或者，您可能对join 的用途感到困惑，并认为您需要先调用它才能使用all_responses.get() 或.wait()。如果是这样——你不需要这样做； get 将阻塞，直到结果可用，之后您不需要 join。这实际上更常见，尤其是map 和朋友（尽管文档中的示例是通过with Pool(…) as pool: 来实现的，而不是手动调用池中的任何内容）。