Python Popen - 等待与通信与 CalledProcessError

Question

继续from my previous question 我看到要获取我在 python 中通过 Popen 生成的进程的错误代码，我必须调用 wait() 或communicate() （可用于访问 Popen stdout 和 stderr 属性） ：

app7z = '/path/to/7z.exe'
command = [app7z, 'a', dstFile.temp, "-y", "-r", os.path.join(src.Dir, '*')]
process = Popen(command, stdout=PIPE, startupinfo=startupinfo)
out = process.stdout
regCompressMatch = re.compile('Compressing\s+(.+)').match
regErrMatch = re.compile('Error: (.*)').match
errorLine = []
for line in out:
    if len(errorLine) or regErrMatch(line):
        errorLine.append(line)
    if regCompressMatch(line):
        # update a progress bar
result = process.wait() # HERE
if result: # in the hopes that 7z returns 0 for correct execution
    dstFile.temp.remove()
    raise StateError(_("%s: Compression failed:\n%s") % (dstFile.s, 
                       "\n".join(errorLine)))

但是the docs 警告wait() 可能会死锁（当 stdout=PIPE 时，就是这种情况），而communicate() 可能会溢出。所以：

1. 在这里使用什么合适？请注意，我确实使用了输出

2. 我应该如何使用通信？会不会：

   process = Popen(command, stdout=PIPE, startupinfo=startupinfo)
   out = process.communicate()[0]
   # same as before...
   result = process.returncode
   if result: # ...
   

   不确定阻塞和内存错误

3. 有更好/更 Pythonic 的方式来处理这个问题吗？我认为subprocess.CalledProcessError or the subprocess.check_call/check_output 不适用于我的情况 - 或者他们是否适用？

免责声明：我没有编写代码，我是当前的维护者，因此问题 3。

相关：

• Python popen command. Wait until the command is finished
• Check a command's return code when subprocess raises a CalledProcessError exception
• wait process until all subprocess finish?

如果这有所不同，我在 Windows 上 - python 2.7.8

应该有一种——最好只有一种——明显的方法

Answer 1

• 关于死锁：将stdout=PIPE 和wait() 一起使用是安全的iff 您从管道中读取。 .communicate() 为您阅读并致电wait()
• 关于内存：如果输出可以无限，那么你不应该使用.communicate()，它将所有输出累积到内存中。

在这里使用什么合适？

要启动子进程，逐行读取它的输出并等待它退出：

#!/usr/bin/env python
from subprocess import Popen, PIPE

process = Popen(command, stdout=PIPE, bufsize=1)
with process.stdout:
    for line in iter(process.stdout.readline, b''): 
        handle(line)
returncode = process.wait() 

由于有限的操作系统管道缓冲区，此代码不会死锁。此外，该代码支持具有无限输出的命令（如果单个行适合内存）。

iter() 用于在子进程的标准输出缓冲区被刷新后立即读取一行，以解决the read-ahead bug in Python 2。如果您不需要在写入行后立即读取行而不等待缓冲区填充或子进程结束，则可以使用简单的for line in process.stdout。见Python: read streaming input from subprocess.communicate()。

如果您知道命令输出在所有情况下都可以放入内存，那么您可以一次获得所有输出：

#!/usr/bin/env python
from subprocess import check_output

all_output = check_output(command)

如果命令以非零退出状态返回，它将引发CalledProcessError。在内部，check_output() uses Popen() and .communicate()

应该有一种——最好只有一种——明显的方法

subprocess.Popen() 是在许多情况下都可以使用的主要 API。常见的用例有Popen.communicate()、check_output()、check_call()等便利函数/方法。

有多种方法和功能，因为有多种不同的用例。