python multiprocessing.Process.terminate - 如何杀死子进程

Question

这段代码：

import multiprocessing as mp
from threading import Thread
import subprocess
import time

class WorkerProcess(mp.Process):
  def run(self):
      # Simulate long running task
      self.subprocess = subprocess.Popen(['python', '-c', 'import time; time.sleep(1000)'])
      self.code = self.subprocess.wait()


class ControlThread(Thread):
  def run():
      jobs = []
      for _ in range(2):
          job = WorkerProcess()
          jobs.append(job)
          job.start()

      # wait for a while and then kill jobs
      time.sleep(2)
      for job in jobs:
          job.terminate()

if __name__ == "__main__":
    controller = ControlThread()
    controller.start()

当我终止生成的 WorkerProcess 实例时。他们死得很好，但是子进程python -c 'import time; time.sleep(1000) 一直运行到完成。这是well documented in the official docs，但是如何杀死被杀死进程的子进程？

一个可能的灵魂可能是：

• 在 try/except 块中包装 WorkerProcess.run() 方法，捕获 SIGTERM，并终止 subprocess.call call。但我不确定如何在 WorkerProcess 中捕获 SIGTERM

• 我也尝试在 WorkerProcess 中设置 signal.signal(signal.SIGINT, handler)，但我得到 ValuError，因为它只允许在主线程中设置。

我现在该怎么办？

Answer 1

编辑：正如@svalorzen 在 cmets 中指出的那样，这实际上不起作用，因为对 self.subprocess 的引用丢失了。

---

终于找到了一个干净、可以接受的解决方案。由于 mp.Process.terminate 是一个方法，我们可以覆盖它。

class WorkerProcess(mp.Process):
    def run(self):
        # Simulate long running task
        self.subprocess = subprocess.Popen(['python', '-c', 'import time; time.sleep(1000)'])
        self.code = self.subprocess.wait()

    # HERE
    def terminate(self):
      self.subprocess.terminate()
      super(WorkerProcess, self).terminate()

Answer 2

您可以使用队列向您的子进程发送消息，并在退出自己之前很好地要求它们终止子进程。除了主线程之外，您不能在其他任何地方使用信号，因此信号不适合这种情况。

奇怪的是，当我像这样修改代码时，即使我用 control+C 中断它，子进程也会死掉。不过，这可能与操作系统相关。

import multiprocessing as mp
from threading import Thread
import subprocess
import time
from Queue import Empty


class WorkerProcess(mp.Process):
    def __init__(self,que):
        super(WorkerProcess,self).__init__()
        self.queue = que

    def run(self):
        # Simulate long running task
        self.subprocess = subprocess.Popen(['python', '-c', 'import time; time.sleep(1000)'])
        while True:
            a = self.subprocess.poll()
            if a is None:
                time.sleep(1)
                try:
                    if self.queue.get(0) == "exit":
                        print "kill"
                        self.subprocess.kill()
                        self.subprocess.wait()
                        break
                    else:
                        pass
                except Empty:
                    pass
                print "run"
            else:
                print "exiting"


class ControlThread(Thread):

    def run(self):
        jobs = []
        queues = []
        for _ in range(2):
            q = mp.Queue()
            job = WorkerProcess(q)
            queues.append(q)
            jobs.append(job)
            job.start()

        # wait for a while and then kill jobs
        time.sleep(5)
        for q in queues:
            q.put("exit")
        time.sleep(30)

if __name__ == "__main__":
    controller = ControlThread()
    controller.start()

希望这会有所帮助。

汉努