Popen 在 Python 2.7 中不返回

Question

我正在用 Python 开发一个进程调度程序。这个想法是从主函数创建几个线程，并在每个线程中启动一个外部进程。外部进程应该继续运行，直到它完成或主线程决定停止它（通过发送终止信号），因为超出了进程的 CPU 时间限制。

问题是有时Popen 调用会阻塞并且无法返回。此代码在我的系统（Ubuntu 14.04.3 LTS）上以约 50% 的概率重现该问题：

import os, time, threading, sys
from subprocess import Popen

class Process:
    def __init__(self, args):
        self.args = args

    def run(self):
        print("Run subprocess: " + " ".join(self.args))
        retcode = -1
        try:
                self.process = Popen(self.args)
                print("started a process")
                while self.process.poll() is None:
                    # in the real code, check for the end condition here and send kill signal if required
                    time.sleep(1.0)
                retcode = self.process.returncode
        except:
            print("unexpected error:", sys.exc_info()[0])

        print("process done, returned {}".format(retcode))
        return retcode

def main():
    processes = [Process(["/bin/cat"]) for _ in range(4)]
    # start all processes
    for p in processes:
        t = threading.Thread(target=Process.run, args=(p,))
        t.daemon = True
        t.start()
    print("all threads started")
    # wait for Ctrl+C
    while True:
        time.sleep(1.0)

main()

输出表明只返回了 3 个Popen() 调用：

Run subprocess: /bin/cat
Run subprocess: /bin/cat
Run subprocess: /bin/cat
Run subprocess: /bin/cat
 started a process
started a process
started a process
all threads started

但是，运行ps 表明所有四个进程实际上都已启动！

使用 Python 3.4 时没有出现问题，但我想保持 Python 2.7 的兼容性。

编辑：如果我在启动每个后续线程之前添加一些延迟，问题也会消失。

编辑 2：我做了一些调查，阻塞是由 subprocess.py 模块中的第 1308 行引起的，它试图从父进程中的管道中进行一些读取：

   data = _eintr_retry_call(os.read, errpipe_read, 1048576)

Answer 1

python 2.7 的 subprocess 模块中存在一些错误，当从多个线程调用 Popen 构造函数时可能会导致死锁。它们在更高版本的 Python 3.2+ IIRC 中得到修复。

您可能会发现使用 Python 3.2/3.3 的 subprocess 模块的 subprocess32 反向端口可以解决您的问题。

*我无法找到实际错误报告的链接，但最近在处理类似问题时遇到了它。