从 subprocess.Popen 获取多个命令的输出

Question

我正在尝试运行一个命令，获取它的输出，然后在同一环境中运行另一个命令（例如，如果我在第一个命令中设置了一个环境变量，我希望它可用于第二个命令）。我试过这个：

import subprocess

process = subprocess.Popen("/bin/bash", shell=True, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE);

process.stdin.write("export MyVar=\"Test\"\n")
process.stdin.write("echo $MyVar\n")
process.stdin.flush()

stdout, stderr  = process.communicate()
print "stdout: " + str(stdout)

# Do it again
process.stdin.write("echo $MyVar\n")
process.stdin.flush()

stdout, stderr = process.communicate()
print "stdout: " + str(stdout)

但是communicate() 一直读到最后，所以这不是一个有效的技术。 （我明白了：）

stdout: Test

Traceback (most recent call last):
  File "./MultipleCommands.py", line 15, in <module>
    process.stdin.write("echo $MyVar\n")
ValueError: I/O operation on closed file

我见过这个：https://stackoverflow.com/a/15654218/284529，但它没有给出如何做它建议的工作示例。谁能演示如何做到这一点？ 我还看到了其他涉及在循环中不断检查输出的技术，但这不符合“获取命令的输出”的心态 - 它只是将其视为流。

Answer 1

当使用communicate 时，它会看到子进程已经结束，但如果你有一个中间进程 (bash)，当你的子子进程结束时，你必须以某种方式手动发出信号。

至于其余部分，最简单的方法是发出一条标记线。但是，很抱歉在这里让您失望，但池化（即不断检查循环）实际上是 the only sane option。如果您不喜欢循环，可以将其“隐藏”在函数中。

import subprocess
import time

def readlines_upto(stream, until="### DONE ###"):
    while True:
        line = stream.readline()
        if line is None:
            time.sleep(0.1)
            continue
        if line.rstrip() == until:
            break
        yield line

process = subprocess.Popen("/bin/bash", shell=True,
    stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
process.stdin.write("export MyVar=\"Test\"\n")
process.stdin.write("echo $MyVar\n")
process.stdin.write("echo '### DONE ###'\n")
process.stdin.flush()

# Note, I don't read stderr here, so if subprocess outputs too much there,
# it'll fill the pipe and stuck. If you don't need stderr data, don't
# redirect it to a pipe at all. If you need it, make readlines read two pipes.
stdout = "".join(line for line in readlines_upto(process.stdout))
print "stdout: " + stdout

# Do it again
process.stdin.write("echo $MyVar\n")
process.stdin.flush()
stdout, stderr = process.communicate()
print "stdout: " + str(stdout)

Answer 2

要获得多个命令的输出，只需将它们组合成一个脚本即可：

#!/usr/bin/env python
import subprocess
import sys

output = subprocess.check_output("""
export MyVar="Test"
echo $MyVar
echo ${MyVar/est/ick}
""", shell=True, executable='/bin/bash', universal_newlines=True)
sys.stdout.write(output)

输出

Test
Tick

Answer 3

Popen对象的communicate和wait方法，进程返回后关闭PIPE。如果您想与流程保持沟通，请尝试以下操作：

import subprocess

process = subprocess.Popen("/bin/bash", shell=True, stdin=subprocess.PIPE,       stdout=subprocess.PIPE, stderr=subprocess.PIPE);

process.stdin.write("export MyVar=\"Test\"\n")
process.stdin.write("echo $MyVar\n")
process.stdin.flush()

process.stdout.readline()

process.stdin.write("echo $MyVar\n")
process.stdin.flush()

stdout, stderr = process.communicate()
print "stdout: " + str(stdout)

我认为你误解了沟通......

查看此链接：- http://docs.python.org/library/subprocess.html#subprocess.Popen.communicate

communicate 向另一个进程发送一个字符串，然后等待它完成......（就像你说的等待 EOF 监听 stdout 和 stderror）

你应该做的是：

proc.stdin.write('message')

# ...figure out how long or why you need to wait...

proc.stdin.write('message2')

（如果您需要获取 stdout 或 stderr，您可以使用 proc.stdout 或 proc.stderr）

Answer 4

按照说明书：

Popen.communicate(input=None)

    与进程交互：将数据发送到标准输入。从 stdout 和 stderr 读取数据，直到到达文件结尾。 等待进程 终止。 [...]

您需要改为从管道中读取：

import os
stdout = os.read(process.stdout.fileno(), 1024)
print "stdout: " + stdout

如果没有数据在等待，它将永远挂在那里或直到准备好读取数据。您应该使用select 系统调用来防止这种情况发生：

import select
import os

try:
    i,o,e = select.select([process.stdout], [], [], 5) # 5 second timeout
    stdout = os.read(i[0].fileno(), 1024)
except IndexError:
    # nothing was written to the pipe in 5 seconds
    stdout = ""

print "stdout: " + stdout

如果你想获取多个写入，为了避免竞争条件，你必须把它放在一个循环中：

stdout = ""
while True:
    try:
        i,o,e = select.select([process.stdout], [], [], 5) # 5 second timeout
        stdout += os.read(i[0].fileno(), 1024)
    except IndexError:
        # nothing was written to the pipe in 5 seconds, we're done here
        break