关闭多处理 Python 时正在运行外部程序

Question

在 Python (3.5) 中，我开始通过 multiprocessing.Pool.map + 来自 Xshell 连接的子进程运行外部可执行文件（用 C++ 编写）。但是，由于网络状况不佳，Xshell 连接中断。

再次连接后，我看到管理 Python 已消失，但 C++ 可执行文件仍在运行（看起来正确，Pool 似乎仍在控制它们。）

问题是这是否是一个错误，以及在这种情况下我应该做什么。我不能kill 或kill -9 他们。

添加：手动删除所有sublst_file后，所有正在运行的可执行文件（cmd）都消失了。 except sub.SubprocessError as e: 部分似乎仍在工作。

我的程序的基本框架概述如下。

import subprocess as sub
import multiprocessing as mp
import itertools as it
import os
import time

def chunks(lst, chunksize=5):
    return it.zip_longest(*[iter(lst)]*chunksize)

class Work():
    def __init__(self, lst):
        self.lst = lst

    def _work(self, sublst):
       retry_times = 6
       for i in range(retry_times):
             try:
                 cmd = 'my external c++ cmd'
                 sublst_file = 'a config file generated from sublst'
                 sub.check_call([cmd, sublst_file])
                 os.remove(sublst_file)
                 return sublst # return success sublst
             except sub.SubprocessError as e:
                 if i == (retry_times-1):
                    print('\n[ERROR] %s %s failed after %d tries\n' % (cmd, sublst_file, retry_times))
                    return []
                 else:
                     print('\n[WARNNING] %dth sleeping, please waiting for restart\n' % (i+1))
                     time.sleep(1+i)

    def work(self):
        with mp.Pool(4) as pool:
            results = pool.map(self._work, chunks(self.lst, 5))
        for r in it.chain(results):
            # other work on success items
            print(r)

Answer 1

multiprocessing.Pool 确实会在 terminate() 上终止其工作人员，__del__ 也会调用它，而__del__ 又会在模块卸载（退出时）时调用。

这些家伙成为孤儿的原因是subprocess.check_call spawns 没有在退出时终止。

参考文献中没有明确提到这一事实，但没有任何地方表明生成已终止。对source code 的简要回顾也让我没有任何发现。这种行为也很容易测试。

要在父级终止时进行清理，请使用Popen 接口和此答案Killing child process when parent crashes in python