Subprocess.popen - 从属写入失败：管道损坏；中止

Question

TLDR：坚持https://code.google.com/archive/p/byte-unixbench/issues/1

尝试使用subprocess.popen() 运行 UnixBench，同时捕获输出并实时打印出来。

这是我想出的子程序：

def run_and_print(command, cwd=None, catch_stderr = False):
    if catch_stderr:
        err_pipe = subprocess.PIPE
    else:
        err_pipe = subprocess.STDOUT

    p = subprocess.Popen(command, stdout=subprocess.PIPE, bufsize=1, cwd=cwd, stderr=err_pipe)
    r = ''
    while True:
        if catch_stderr:
            out = p.stderr.read(1)
        else:
            out = p.stdout.read(1)
        if out == "" and p.poll() != None:
            break
        sys.stdout.write(out)
        sys.stdout.flush()
        r += out

    return r

它适用于除 UnixBench 之外的所有用途。 Unixbench 过了一会儿就死了：

unixbench = run_and_print(['./Run'])

...

1 x 管道吞吐量 1 2 3 4 5 6 7 8 9 10

1 x 基于管道的上下文切换 1 2 3 4

---

运行：“基于管道的上下文切换”：slave write failed: Broken pipe；中止

Google 并没有太大帮助。我得到的唯一有意义的结果是 https://code.google.com/archive/p/byte-unixbench/issues/1 并建议创建 java 应用程序的解决方案对我不起作用，因为我需要以尽可能少的依赖项运行脚本。

我会感谢任何解决方案或解决方法。我正在测试的系统是 Ubuntu 14.04.4 x64

Answer 1

该错误与'yes' reporting error with subprocess communicate() 相关，它提供了修复：使用preexec_fn（或使用Python 3）在子进程中重新启用SIGPIPE 信号。

---

无关：如果catch_stderr 为真并且p.stderr 和p.stdout 不完全同步，您的代码可能会死锁。

否则catch_stderr 无效（忽略缓冲）：您的代码无论如何都会捕获 stderr。你可以简化它：

#!/usr/bin/env python
from shutil import copyfileobj
from subprocess import Popen, PIPE, STDOUT

def run_and_print(command, cwd=None):
    p = Popen(command, stdout=PIPE, stderr=STDOUT, bufsize=-1, cwd=cwd,
              preexec_fn=restore_signals)
    with p.stdout:
        tee = Tee()
        copyfileobj(p.stdout, tee)        
    return p.wait(), tee.getvalue()

其中Tee() 是一个类似文件的对象，它写入两个位置：stdout 和StringIO()：

import sys
from io import BytesIO

class Tee:
   def __init__(self):
       self.file = BytesIO()
   def write(self, data):
       getattr(sys.stdout, 'buffer', sys.stdout).write(data)
       self.file.write(data)
   def getvalue(self):
       return self.file.getvalue()

restore_signals() is defined here.

---

如果您想在命令打印后立即在屏幕上看到输出；您可以内联Tee、copyfileobj() 和use os.read()，以避免在将其写入stdout 之前阅读完整的length：

chunks = []
with p.stdout:
    for chunk in iter(lambda: os.read(p.stdout.fileno(), 1 << 13), b''):
        getattr(sys.stdout, 'buffer', sys.stdout).write(chunk)
        sys.stdout.flush()
        chunks.append(chunk)
return p.wait(), b''.join(chunks)

要在子进程中禁用内部块缓冲，您可以尝试run it using stdbuf or pass pseudo-tty instead of the pipe。