使用 python subprocess.check_output 实时管道或解决方法？

Question

我有一个大型项目的一部分，在 python 中包含一个部分，如下所示：

failcount = 0
done = False
while done == False:
    try:
        result = subprocess.check_output(program)
        done = True
    except subprocess.CalledProcessError as e:
        failcount += 1
        logwrite('logfile.txt', 'Failed. Counter = {0}\nError message: {1}\n-'.format(failcount, e.returncode))
        if failcount == 20:
            print 'It failed 20 times, aborting...'
            quit()

这意味着从命令行运行“程序”。 “程序”是一个大型计算化学包，有时会失败，所以我在这里循环运行它。如果它失败了 20 次，那么我的 python 脚本就会终止。这工作得很好，它可以达到预期的效果。但是，我的问题是每次尝试我的化学包大约需要三个小时，我想随时监控它。

如果我从命令行手动运行它，我可以简单地执行“程序 > 日志文件”，然后使用 tail -f 来观察日志文件。但是，您似乎无法在 python 中执行以下操作：

subprocess.check_output(['program', '>', 'logfile'])

有没有办法让 python 在填充时打印出 subprocess.check_output 的内容？我认为 subprocess.check_output 只包含标准输出中的任何内容。我可以以某种方式在 python 和管道之间克隆它吗？

可能的解决方法：我制作了一个名为 run_program.sh 的 bash 脚本，它只执行上面列出的程序 > 日志文件，然后我使用 python 的子进程来执行 run_program.sh。这种方式我可以根据需要进行监控，但现在程序的输出在一个文件中，而不是在 python 中，所以我必须让 python 读取一个大的日志文件，并在需要时捕获错误消息，所以如果可以的话，我会更喜欢避免这样的事情。

Answer 1

您可以使用subprocess.Popen，而不是使用subprocess.check_output。该对象代表您的子进程，并具有您可以读取的 stdout 和 stderr 属性。如果您的子进程仅使用标准输出，您可能只需在循环中调用Popen.stdout.readline()。但是，如果子进程写入其他管道，您可能会遇到死锁（有关详细信息，请参阅文档）。在这种情况下，我推荐http://stefaanlippens.net/python-asynchronous-subprocess-pipe-reading/ 中描述的consume 函数，它可以让您安全地打印stdout 和stderr，因为它是从子进程输出的。

或者，如果您将shell=True 传递给check_output 函数，您使用subprocess.check_output(['program', '>', 'logfile']) 的方法应该可以工作。 > 是一个 shell 指令，如果您将其作为独立命令运行，则无法识别它。

编辑：以上内容不会返回任何输出供您的 Python 程序使用。相反，subprocess.check_output('program | tee logfile', shell=True)。

如果使用 shell=True，请注意您可以完全控制 check_output 的参数。为了安全起见，绝不允许将任何用户或网络输入传递给 shell。请参阅this warning 了解原因。